[논문 리뷰] Learning Perceptual Inference by Contrasting

Chi Zhang, Baoxiong Jia외 4명|arXiv (Cornell University)|2019. 11. 29.

Cognitive Science and Mapping인용 수 40

한 줄 요약

CoPINet은 Raven의 Progressive Matrices를 다루기 위해 추론-불변 대비 지각 프레임워크와 추론 규칙 모듈을 도입하여 RAVEN 및 PGM 데이터셋에서 최첨단 성능을 달성합니다.

ABSTRACT

"Thinking in pictures," [1] i.e., spatial-temporal reasoning, effortless and instantaneous for humans, is believed to be a significant ability to perform logical induction and a crucial factor in the intellectual history of technology development. Modern Artificial Intelligence (AI), fueled by massive datasets, deeper models, and mighty computation, has come to a stage where (super-)human-level performances are observed in certain specific tasks. However, current AI's ability in "thinking in pictures" is still far lacking behind. In this work, we study how to improve machines' reasoning ability on one challenging task of this kind: Raven's Progressive Matrices (RPM). Specifically, we borrow the very idea of "contrast effects" from the field of psychology, cognition, and education to design and train a permutation-invariant model. Inspired by cognitive studies, we equip our model with a simple inference module that is jointly trained with the perception backbone. Combining all the elements, we propose the Contrastive Perceptual Inference network (CoPINet) and empirically demonstrate that CoPINet sets the new state-of-the-art for permutation-invariant models on two major datasets. We conclude that spatial-temporal reasoning depends on envisaging the possibilities consistent with the relations between objects and can be solved from pixel-level inputs.

연구 동기 및 목표

• RPM 작업에서 순수한 지각을 넘어 공간-시간 및 관계 추론을 개선하도록 동기를 부여한다.
• 후보 해를 비교하고 구별 특징을 증류하기 위한 명시적 대비 메커니즘을 포함한다.
• 대상 순서나 격자 위치에 의존하지 않도록 순열 불변성을 강제한다.
• 지금까지의 지각과 함께 학습된 간단한 지각-추론 모듈을 통합하여 숨겨진 규칙을 포착한다.

제안 방법

• 모델 수준의 대비를 도입한다: Contrast(F_{O∪a}) = F_{O∪a} − h(Σ_{a′∈A} F_{O∪a′})를 계산하는 그리고 순열 불변성을 보존하는 대응 모듈.
• 노이즈 대비 추정(NCE) 변형과 baseline b(·)를 사용한 목적 함수 수준의 대조를 채택하여 올바른 후보의 잠재력이 잘못된 것들에 비해 상대적으로 향상되도록 하며; sigmoid-based loss (Eq. 8)를 최적화한다.
• 관찰 O를 주어진 숨겨진 규칙 T를 공동으로 추론하는 지각 추론 분기를 도입하고 p(T|O)를 모델링하며 최종 점수 f(O∪a, T̂)을 조건화하기 위해 T̂를 샘플링한다.
• 공유 인코더와 반복되는 대비+잔차 블록을 설계하여 후보 순서나 행/열 위치에 의존하지 않도록 순열 불변성을 보장한다.
• CoPINet 아키텍처를 설명한다: 대비 모듈과 잔차 블록을 가진 지각 분기, (Gumbel-)SoftMax 출력과 최종 점수의 음의 포텐셜을 생성하는 MLP를 포함하는 추론 분기를 포함한다.

실험 결과

연구 질문

• RQ1 Explicit한 대비 메커니즘이 지각 전용 모델을 넘어 RPM 스타일의 관계 추론을 개선할 수 있는가?
• RQ2 순열 불변성이 후보 순서에 따른 지름길 해결책을 방지하고 관계에 대한 진정한 추론을 촉진하는가?
• RQ3 지각과 간단한 추론 모듈을 함께 학습하는 것이 RPM 데이터셋에서 일반화에 더 나은가?
• RQ4 Baseline이 있는 대비 목적 함수가 RPM 추론 지침에서 표준 교차 엔트로피와 비교해 어떤 차이를 보이는가?

주요 결과

• CoPINet은 RAVEN 및 PGM 데이터셋 모두에서 순열-불변 모델 중 최첨단 성능을 달성한다.
• RAVEN 데이터셋에서 CoPINet은 91.42%의 전체 정확도(인간 84.41% 대비), 일부 구성에서 인간 수준의 추론에 근접한다.
• PGM 데이터셋에서 CoPINet은 56.37%의 전체 정확도를 달성하며 다른 순열-불변 기반기준을 능가한다.
• ablation 연구에서 대비 모듈, 대비 손실, 지각 추론 분기 각각이 크게 기여하며, 대비 모듈을 제거하면 급격한 하락이 나타난다.
• 훈련 데이터 양이 줄어들어도 성능이 여전히 강하게 나타나며, RAVEN에서 substantially fewer examples로도 거의 인간 수준의 성능에 근접하고 PGM에서도 강한 이득을 유지한다.
• 결과는 순열 불변성의 중요성을 강조하여 위치 기반 단서를 통한 지름길 학습을 방지하고 진정한 관계 추론을 촉진한다.