[논문 리뷰] Are Elephants Bigger than Butterflies? Reasoning about Sizes of Objects

Hessam Bagherinezhad, Hannaneh Hajishirzi외 2명|arXiv (Cornell University)|2016. 02. 02.

Multimodal Machine Learning Applications참고 문헌 33인용 수 19

한 줄 요약

이 논문은 웹 스케일의 텍스트 및 시각 데이터를 활용하여 상대적 물체 크기를 추론하기 위한 자기지도 학습 방법을 제안한다. 크기 그래프를 통해 로그노멀 분포를 모델링하고, 이행적 추론을 통해 정확도를 향상시킨다. 이 방법은 크기 비교 작업에서 83.5%의 정확도를 달성하여 텍스트 전용 및 시각 전용 기준선보다 뚜렷이 뛰어나며, 물리적 크기 관련 공통 지식 추론에서 다중모odal 신호의 상호보완적 가치를 입증한다.

ABSTRACT

Human vision greatly benefits from the information about sizes of objects. The role of size in several visual reasoning tasks has been thoroughly explored in human perception and cognition. However, the impact of the information about sizes of objects is yet to be determined in AI. We postulate that this is mainly attributed to the lack of a comprehensive repository of size information. In this paper, we introduce a method to automatically infer object sizes, leveraging visual and textual information from web. By maximizing the joint likelihood of textual and visual observations, our method learns reliable relative size estimates, with no explicit human supervision. We introduce the relative size dataset and show that our method outperforms competitive textual and visual baselines in reasoning about size comparisons.

연구 동기 및 목표

• AI 시스템에서 물체 크기 정보를 위한 종합적이고 확장 가능한 자원의 부족을 해결하기 위해.
• 명시적인 인간 레이블 없이 상대적 및 절대적 크기 추정을 추론하는 방법을 개발하기 위해.
• 다중모달 데이터를 활용해 물체 쌍 간 크기 관계의 이행성 특성을 활용하기 위해.
• 지식 기반에 크기 지식을 통합하여 비전 및 NLP 분야의 공통 지식 추론을 향상시키기 위해.
• 텍스트 및 시각 신호를 조합할 경우 단일 모달리티보다 더 정확한 크기 추정이 가능함을 입증하기 위해.

제안 방법

• 노드가 물체 크기의 로그노멀 분포를 나타내고, 간선이 이미지에서 동시 발생하는 물체 검출을 통해 유도된 상대적 크기 관계를 표현하는 크기 그래프를 구축한다.
• 텍스트 및 시각 관측치를 모두 고려한 최대우도 최적화 문제로 크기 추정을 공식화하며, 웹 데이터에서 유래한 노이즈가 있는 신호를 함께 모델링한다.
• 시각 데이터는 약한 지도 학습 기반의 물체 검출기와 단일 이미지 깊이 추정기로 처리되어, 경계 상자 비율과 근사 깊이 추정치를 통해 상대적 크기를 추론한다.
• 텍스트 데이터는 검색 쿼리 템플릿을 통해 채굴되어 'X는 Y보다 크다'와 같은 크기 관련 표현을 추출하며, 이를 모델 훈련에 사용한다.
• 모델는 이행적 추론을 사용한다: A > B이고 B > C이면 A > C이다. 이는 직접 공시되지 않은 물체 쌍에 대해서도 추론을 가능하게 한다.
• 일부 물체에 대해 진짜 크기 값을 제약 조건으로 통합함으로써, 가능성 최대화를 통해 불확실한 노드의 추정을 향상시킬 수 있다.

실험 결과

연구 질문

• RQ1 웹 스케일의 텍스트 및 시각 데이터만을 사용하여 자기지도 학습 방법이 상대적 물체 크기를 효과적으로 추론할 수 있는가?
• RQ2 크기 추정에서 텍스트 및 시각 신호는 신뢰성과 정보성 측면에서 어떻게 비교되는가?
• RQ3 이행적 추론은 빈번하게 공시되지 않는 물체 쌍의 크기 추론에 얼마나 기여하는가?
• RQ4 두 모달리티를 통합할 경우 단일 모달리티 기준선보다 크기 비교 작업에서 더 뛰어난 성능을 보일 수 있는가?
• RQ5 소수의 참값 크기 정보를 포함시킬 경우 모델의 전체 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 상대적 크기 비교 작업에서 83.5%의 정확도를 달성하여 경쟁력 있는 NLP 기준선(63.4%)과 시각 전용 기준선을 뚜렷이 뛰어넘는다.
• 모델는 텍스트 및 시각 데이터를 조합할 경우 단일 모달리티를 사용할 때보다 더 높은 정확도를 달성함을 보여주며, 이는 두 신호의 상호보완적 성질을 확인한다.
• 모델의 정밀도는 모든 선언 레벨에서 일관되게 높은 편이지만, 언어 전용 기준선은 높은 신뢰도 수준에서 정밀도가 감소함을 보여주며, 캘리브레이션에 문제가 있음을 시사한다.
• 기린, 오토바이, 집과 같은 물체는 텍스트 데이터에서 더 큰 이점을 얻는 반면, 수박, 사과, 당나귀는 시각 데이터를 통해 더 잘 추정됨을 보여주며, 모달리티별로 강점이 다름을 입증한다.
• 소수의 물체에 대해 진짜 크기 값을 통합함으로써 전체 정확도가 향상되며, 이는 신뢰할 수 있는 크기 정보가 불확실한 노드로 효과적으로 전파될 수 있음을 보여준다.
• 모델는 P(window > motorbike) = 0.3 및 P(shoe > face) = 0.49와 같이 직관적이지 않은 크기 비교를 합리적인 신뢰도로 예측함으로써, 강력한 통계적 추론 능력을 보여준다.