[논문 리뷰] PTR: A Benchmark for Part-based Conceptual, Relational, and Physical Reasoning

Yining Hong, Yi Li외 3명|arXiv (Cornell University)|2021. 12. 09.

Multimodal Machine Learning Applications인용 수 15

한 줄 요약

이 논문은 시각적 추론를 위한 세분화된 부분 수준의 애너테이션을 갖춘 약 7만 장의 RGBD 합성 이미지로 구성된 대규모 벤치마크 PTR를 소개한다. 이는 개념적, 관계적, 비유적, 산술적, 물리적 5종류의 추론 유형에서 모델을 평가하며, 심지어 최신 기술 모델들이라도 인간 수준에 비해 뚜렷이 뒤처지는 것으로 드러나, 특히 관계적 및 물리적 추론에서 계층적 시각 이해의 심각한 격차를 드러낸다.

ABSTRACT

A critical aspect of human visual perception is the ability to parse visual scenes into individual objects and further into object parts, forming part-whole hierarchies. Such composite structures could induce a rich set of semantic concepts and relations, thus playing an important role in the interpretation and organization of visual signals as well as for the generalization of visual perception and reasoning. However, existing visual reasoning benchmarks mostly focus on objects rather than parts. Visual reasoning based on the full part-whole hierarchy is much more challenging than object-centric reasoning due to finer-grained concepts, richer geometry relations, and more complex physics. Therefore, to better serve for part-based conceptual, relational and physical reasoning, we introduce a new large-scale diagnostic visual reasoning dataset named PTR. PTR contains around 70k RGBD synthetic images with ground truth object and part level annotations regarding semantic instance segmentation, color attributes, spatial and geometric relationships, and certain physical properties such as stability. These images are paired with 700k machine-generated questions covering various types of reasoning types, making them a good testbed for visual reasoning models. We examine several state-of-the-art visual reasoning models on this dataset and observe that they still make many surprising mistakes in situations where humans can easily infer the correct answer. We believe this dataset will open up new opportunities for part-based reasoning.

연구 동기 및 목표

• 객체 수준의 인식을 넘어서 계층적 부분-전체 구조에 초점을 맞춘 부분 기반 시각적 추론에 중점을 둔 벤치마크의 부족을 해결하기 위해.
• 세분화된 부분 수준의 특성, 기하학적 및 공간적 관계, 안정성과 같은 물리적 성질을 포괄하는 진단용 데이터셋을 구축하기 위해.
• 공통 부분(예: 다리, 지지대 등)을 통해 다양한 객체 유형 간 일반화 능력을 평가하기 위해 최신 기술 시각적 추론 모델의 성능을 평가하기 위해.
• 복합 객체 구조에 대해 추론할 때 현재 모델들이 관계적 및 물리적 추론에서 보이는 한계를 조사하기 위해.
• 인간처럼 부분, 객체, 물리적 제약을 종합적으로 고려하는 계층적 추론이 가능한 새로운 모델 개발의 기반을 마련하기 위해.

제안 방법

• 10,000개의 객체를 포함하는 PartNet에서 유래한 5개 카테고리(의자, 테이블, 침대, 냉장고, 카트)의 객체를 사용해 약 7만 장의 RGBD 이미지를 합성하며, 풍부한 기하학적 및 구조적 다양성을 제공한다.
• 각 이미지에 대해 실제 인스턴스 세그멘테이션, 의미적 레이블, 색상 속성, 공간적 및 기하학적 관계(예: 평행, 수직) 및 안정성과 같은 물리적 성질을 애너테이션한다.
• 5종류의 추론 유형(개념, 관계, 비유, 산술, 물리)을 포함하는 70만 개의 자연어 질문을 생성하며, 각 질문은 실행 가능한 기능 프로그램과 짝을 이룬다.
• 장르 그래프를 구성하여 객체와 부분 간의 계층적 관계를 표현함으로써, 부분-전체 조합에 기반한 구조적 추론을 가능하게 한다.
• 신경-기호 모델(NS-VQA)을 베이스라인으로 활용하며, 이는 신경적 인식과 기호적 추론을 결합한 것으로, 실제 마스크 및 속성 정보가 제공된 조건에서 추론 성능을 평가한다.
• 세 가지 카테고리(의자, 냉장고, 카트)에서 학습하고 모든 다섯 카테고리에서 테스트하여, 공통 부분 의미를 통한 전이 능력을 평가하기 위해 교차 카테고리 일반화 실험을 수행한다.

실험 결과

연구 질문

• RQ1 세분화된 부분 수준의 속성과 관계가 제공될 경우, 시각적 추론 모델은 부분 기반 개념적 추론을 정확히 수행할 수 있는가?
• RQ2 비유적 및 관계적 추론을 위해 공통 부분 구조(예: 다리, 지지대 등)를 활용할 때, 모델은 얼마나 다양한 객체 유형 간에 일반화할 수 있는가?
• RQ3 부분 기하학적 구조와 공간 배치에서 유도된 안정성 및 구조적 제약을 포함하는 물리적 추론 과제에서 모델의 성능는 어떠한가?
• RQ4 실제 부분 세그멘테이션 및 속성 감독이 기하학적 및 물리적 추론에서 모델 성능에 어떤 영향을 미치는가?
• RQ5 현재 최신 기술 모델들이 부분 기반 추론에서 인간 성능을 따라잡지 못하는 이유는 무엇이며, 어떤 아키텍처나 학습 개선이 필요한가?

주요 결과

• 모든 평가된 시각적 추론 모델(신경-기호 및 다중 모odal 모델 포함)이 PTR에서 인간 수준에 비해 뚜렷이 뒤처지며, 특히 관계적 및 물리적 추론에서 두드러진 성능 격차를 보인다.
• 실제 부분 세그멘테이션 및 속성 정보가 제공된 경우, 신경-기호 모델(NS-VQA)은 개념적 및 산술 질문에서 거의 완벽한 성능을 달성하지만, 여전히 기하학적 및 물리적 추론에서 어려움을 겪는다.
• 실제 부분 마스크가 제공된 상태에서도 기하학적 및 물리적 질문을 해결하지 못함으로써, 핵심 과제는 단순히 인식이 아니라 공간적 및 물리적 제약에 대한 추론에 있음을 시사한다.
• 교차 카테고리 일반화 능력은 제한적이다: MAC(P) 및 LCGN과 같은 모델들은 낮은 전이 성능를 보이며, 부분 표현이 카테고리 간에 충분히 일반화되지 못하고 있음을 시사한다.
• 데이터 효율성은 일반화 능력과 동치가 아니다: LCGN은 10% 데이터에서 뛰어난 성능를 보이나 카테고리 간 일반화에 실패함으로써, 데이터 효율성이 계층적 추론 능력의 지표가 되지 못함을 시사한다.
• 물리적 추론 및 비유적 추론에서 모델과 인간 간의 성능 격차는 여전히 크며, 이는 현재 모델들이 부분-전체 계층과 물리적 타당성에 대한 진정한 이해를 보유하고 있지 않음을 시사한다.