[논문 리뷰] Answering Image Riddles using Vision and Reasoning through Probabilistic Soft Logic

Somak Aditya, Yezhou Yang외 2명|arXiv (Cornell University)|2016. 11. 17.

Advanced Image and Video Retrieval Techniques참고 문헌 21인용 수 3

한 줄 요약

이 논문은 확률적 소프트 로직(PSL) 프레임워크를 사용하여 시각적 이해와 일반 지식 추론이 필요한 이미지 뒷북맞추기 풀이라는 새로운 작업을 제안한다. 깊이 학습 기반의 객체 검출과 ConceptNet 기반 지식 추론을 융합한 방법을 제안하여 다수의 이미지 간의 추상적이고 공통적인 개념을 추론하며, 인간 검증된 애너테이션을 포함한 새로 쌓은 3,000개의 뒷북맞추기로 구성된 데이터셋에서 뛰어난 성능을 달성한다.

ABSTRACT

In this work, we explore a genre of puzzles ("image riddles") which involves a set of images and a question. Answering these puzzles require both capabilities involving visual detection (including object, activity recognition) and, knowledge-based or commonsense reasoning. We compile a dataset of over 3k riddles where each riddle consists of 4 images and a groundtruth answer. The annotations are validated using crowd-sourced evaluation. We also define an automatic evaluation metric to track future progress. Our task bears similarity with the commonly known IQ tasks such as analogy solving, sequence filling that are often used to test intelligence. We develop a Probabilistic Reasoning-based approach that utilizes probabilistic commonsense knowledge to answer these riddles with a reasonable accuracy. We demonstrate the results of our approach using both automatic and human evaluations. Our approach achieves some promising results for these riddles and provides a strong baseline for future attempts. We make the entire dataset and related materials publicly available to the community in ImageRiddle Website (http://bit.ly/22f9Ala).

연구 동기 및 목표

• 시각적 인지와 고차원 추론을 동시에 테스트하는 새로운 벤치마크 작업—이미지 뒷북맞추기 풀이를 도입하는 것.
• 4장의 이미지와 단일 단어 정답을 포함한 3,000개의 이미지 뒷북맞추기로 구성된 대규모 데이터셋을 수집하고, 인류 기반의 캐디네이션을 통해 의미적 일관성과 적절한 난이도를 확보하는 것.
• 시각적 검출 결과를 기반으로 확률적 일반 지식 지식을 활용해 추상적이고 공통적인 개념을 추론하는 추론 시스템을 개발하는 것.
• 시각 모델과 구조화된 지식 추론을 융합하여 향후 시각적 추론 분야의 연구에 강력한 베이스라인을 설정하는 것.
• 이 새로운 작업에서의 진전을 추적하기 위해 자동 평가 지표와 인간 평가 프로토콜을 제공하는 것.

제안 방법

• 각 뒷북맞추기의 이미지에 대해 최신의 이미지 분류 모델(예: Clarifai, ResNet)을 사용해 상위 5개의 클래스 레이블 예측을 추출한다.
• ConceptNet 5를 사용해 검출된 레이블을 더 넓은 의미 공간으로 매핑한다. ConceptNet은 단어와 어휘적 표현 간의 관계를 인코딩한 지식 그래프이다.
• 검출된 레이블과 ConceptNet 지식을 기반으로 Probabilistic Soft Logic(PSL)를 적용하여 다수의 이미지 간에 가장 가능성이 높은 공통 개념을 추론한다.
• 다단계 파이프라인을 구현한다: (1) 시각적 검출, (2) ConceptNet 기반 개념 확장, (3) PSL를 이용한 확률적 추론을 통한 후보 정답 순위 매기기.
• 예측의 과신을 줄이고 정답 품질을 향상시키기 위해 GUR(Global Unbiased Ranking) 모듈을 통한 편향 보정을 통합한다.
• 검토된 500개의 뒷북맞추기 세트에서 랜덤 서치를 통해 초모델 하이퍼파라미터(예: 유사도 임계값, 신뢰도 임계값)를 최적화한다.

실험 결과

연구 질문

• RQ1 시각적 검출과 일반 지식 추론을 융합한 시스템이 추상적 개념 연결이 필요한 이미지 뒷북맞추기를 효과적으로 해결할 수 있는가?
• RQ2 구조화된 지식(ConceptNet를 통한) 통합이 시각 전용 기반 모델 대비 정답 정확도를 얼마나 향상시키는가?
• RQ3 PSL를 통한 확률적 추론이 다양한 이미지 간에 비명백한 공통 개념을 추론하는 데 모델의 능력을 얼마나 향상시키는가?
• RQ4 인간 평가자들은 시각 전용 모델 대비 시스템이 생성한 정답의 정확성과 지능 수준을 어떻게 평가하는가?
• RQ5 유일하고 중복되지 않는 정답과 다양한 시각적 신호를 가진 뒷북맞추기 전반에 걸쳐 통합 프레임워크가 일반화 가능한가?

주요 결과

• 제안된 방법 중 GUR+All 버전이 테스트 세트에서 단어 임베딩 기반 정확도에서 가장 높은 성능을 기록하며, 시각 전용 기반 모델을 능가했다.
• 아마존 메카니컬 터크에서의 인간 평가 결과, GUR+All 시스템은 지능도 평가에서 2.2/4점을 기록했고, Clarifai(2.0/4점), ResNet(1.8/4점)에 비해 유의미하게 높은 평가를 받았다.
• 시스템은 정확도와 설명 가능성이 향상되었으며, 인간 평가에서 가장 높은 정확도 및 지능 범주에 속하는 정답 비율이 높았다.
• 파이프라인의 추론 단계(RR) 이후 정확도가 급격히 상승한 것으로 보아, PSL 기반 추론이 성능 향상의 주요 원동력임을 시사한다.
• 3,000개의 뒷북맞추기 데이터셋은 인류 기반 캐디네이션을 통해 검증되었으며, 의미적 일관성과 적절한 난이도 수준을 확보했다.
• 제안된 방법은 잘 일반화되며, 소수의 검출된 레이블에서 출발해 큰 어휘 체계(ConceptNet의 약 20만 개 항목)를 기반으로 추상적이고 비명백한 연결 고리를 발견할 수 있다.