[논문 리뷰] Learning Visual Reasoning Without Strong Priors

Ethan Perez, H. de Vries외 3명|HAL (Le Centre pour la Communication Scientifique Directe)|2017. 07. 10.

Multimodal Machine Learning Applications인용 수 23

한 줄 요약

이 논문은 조건부 배치 정규화(CBN)를 사용하는 일반 목적의 딥러닝 아키텍처가 수작업으로 설계된 추론 모듈이나 강한 아키텍처 사전 지식 없이 CLEVR 벤치마크에서 최신 기술 수준의 시각적 추론 성능을 달성할 수 있음을 보여준다. 모델은 RNN을 통해 질문 임bedding을 조건으로 삼아 CNN의 배치 정규화 파라미터를 조절함으로써 언어와 이미지 입력에서 직접적으로 구조화되고 다단계적인 추론을 수행하도록 학습한다.

ABSTRACT

Achieving artificial visual reasoning - the ability to answer image-related questions which require a multi-step, high-level process - is an important step towards artificial general intelligence. This multi-modal task requires learning a question-dependent, structured reasoning process over images from language. Standard deep learning approaches tend to exploit biases in the data rather than learn this underlying structure, while leading methods learn to visually reason successfully but are hand-crafted for reasoning. We show that a general-purpose, Conditional Batch Normalization approach achieves state-of-the-art results on the CLEVR Visual Reasoning benchmark with a 2.4% error rate. We outperform the next best end-to-end method (4.5%) and even methods that use extra supervision (3.1%). We probe our model to shed light on how it reasons, showing it has learned a question-dependent, multi-step process. Previous work has operated under the assumption that visual reasoning calls for a specialized architecture, but we show that a general architecture with proper conditioning can learn to visually reason effectively.

연구 동기 및 목표

• 특수 설계된 아키텍처나 강한 인덕티브 바이어스 없이도 시각적 추론이 효과적으로 학습될 수 있음을 보여주는 것.
• 일반 목적의 딥러닝 모델이 언어와 이미지 입력으로부터 구조적이고 질문에 의존하는 추론을 학습할 수 있는지 조사하는 것.
• 조건부 배치 정규화(CBN)가 명시적인 추론 사전 지식 없이도 엔드 투 엔드 시각적 추론을 가능하게 하는 데 얼마나 효과적인지 평가하는 것.
• 모델의 내부 동작 방식을 탐구하여 다단계 추론을 어떻게 수행하는지 이해하는 것.

제안 방법

• 자연어 질문을 문맥 임베딩으로 인코딩하기 위해 순환 신경망(RNN)을 사용한다.
• 질문 임베딩에 따라 컨볼루션 신경망(CNN)의 특징 맵을 조절하기 위해 조건부 배치 정규화(CBN)를 적용한다.
• RNN의 최종 은닉 상태에서 가중치 학습 가능한 선형 투영을 통해 CBN 파라미터(γ 및 β)를 생성한다.
• 각 컨볼루션 블록 뒤에 CBN 레이어를 포함한 잔차 블록 아키텍처를 사용하여 계층적인 특징 조절을 가능하게 한다.
• CNN의 배치 정규화 통계를 질문에 따라 조건화함으로써 언어가 시각적 특징 처리를 이끄는 방식으로 설계한다.
• 프로그램 수준의 감독이나 관계 모듈 설계가 필요 없는 단순한 엔드 투 엔드 학습 가능한 파이프라인을 사용한다.

실험 결과

연구 질문

• RQ1 일반 목적의 딥러닝 모델이 추론을 위한 명시적 아키텍처 사전 지식 없이도 강력한 시각적 추론 성능을 달성할 수 있는가?
• RQ2 조건부 배치 정규화(CBN)는 다단계 추론을 위한 언어 조절 시각적 특징 조절을 어떻게 가능하게 하는가?
• RQ3 모델은 데이터셋의 편향을 악용하는 것이 아니라 질문에 따라 구조화되고 의존적인 추론 과정을 학습하는가?
• RQ4 CBN 기반 조건화 방식은 시각적 추론을 위해 특수 설계된 아키텍처를 능가할 수 있는가?

주요 결과

• 모델은 CLEVR 벤치마크에서 2.4% 오차율을 달성하여, 다음으로 좋은 엔드 투 엔드 방법(4.5%)을 능가했으며, 일부 추가 감독을 받는 방법들(3.1%)조차도 앞서는 성능을 보였다.
• 네트워크 깊이에 따라 CBN 파라미터의 클러스터링을 통해 질문에 따라 달라지는 다단계 추론 과정을 학습하고 있음을 확인할 수 있었다.
• 초기 CBN 레이어는 저수준 추론 기능(예: 색상, 모양 탐지)에 따라 그룹화되어 있었고, 후속 레이어는 고수준 추론(예: 세기, 비교)에 따라 그룹화되어 있었다.
• 아키텍처적 인덕티브 바이어스 없이도 복잡한 추론 작업으로의 일반화 성능이 뛰어나 CBN를 통한 효과적인 특징별 조건화가 가능함을 보여주었다.
• 탐색 분석 결과, 모델은 데이터셋의 편향에 의존하는 대신, 구조적이고 언어에 의해 이끄는 특징 조작을 통한 추론을 학습하고 있음을 확인하였다.
• CBN 기반 조건화 방식은 최소한의 아키텍처 수정으로도 뛰어난 성능을 달성할 수 있어, 다중 모odal 추론에 매우 강력하고 일반적인 기법임을 시사한다.