[논문 리뷰] The Neuro-Symbolic Concept Learner: Interpreting Scenes, Words, and Sentences From Natural Supervision

Jiayuan Mao, Chuang Gan외 3명|arXiv (Cornell University)|2019. 04. 26.

Multimodal Machine Learning Applications참고 문헌 52인용 수 312

한 줄 요약

NS-CL은 질문과 답변이 쌍으로 이루어진 이미지에서 시각적 개념, 어휘 의미, 의미 파싱을 공동으로 학습하며, 신경-상징적 프레임워크를 사용해 해석 가능하고 구성적 시각적 추론을 프로그램 주석 없이 수행합니다. CLEVR에서 강력한 성과를 얻고 새로운 속성, 구성, 도메인으로 일반화합니다.

ABSTRACT

We propose the Neuro-Symbolic Concept Learner (NS-CL), a model that learns visual concepts, words, and semantic parsing of sentences without explicit supervision on any of them; instead, our model learns by simply looking at images and reading paired questions and answers. Our model builds an object-based scene representation and translates sentences into executable, symbolic programs. To bridge the learning of two modules, we use a neuro-symbolic reasoning module that executes these programs on the latent scene representation. Analogical to human concept learning, the perception module learns visual concepts based on the language description of the object being referred to. Meanwhile, the learned visual concepts facilitate learning new words and parsing new sentences. We use curriculum learning to guide the searching over the large compositional space of images and language. Extensive experiments demonstrate the accuracy and efficiency of our model on learning visual concepts, word representations, and semantic parsing of sentences. Further, our method allows easy generalization to new object attributes, compositions, language concepts, scenes and questions, and even new program domains. It also empowers applications including visual question answering and bidirectional image-text retrieval.

연구 동기 및 목표

• 어떤 구성 요소에 대해서도 명시적 주석 없이 QA 쌍이 포함된 이미지로부터 시각적 개념, 단어 표현, 의미 파싱을 학습한다.
• 객체 기반의 장면 표현을 구축하고 질문을 실행 가능한 프로그램으로 변환한다.
• 잠재적 장면 표현에 대해 프로그램을 실행하기 위해 신경-상징적 추론 모듈을 사용하여 정확한 답을 얻는다.
• 보지 않은 속성, 장면 구성, 새로운 프로그램 도메인에 대한 구성적 일반화를 달성한다.
• 인터프리터블한 시각적 개념을 가능하게 하면서 VQA 및 이미지-텍스트 검색에 적용 가능성을 시연한다.

제안 방법

• 지각 모듈은 Mask R-CNN과 ResNet-34를 사용하여 객체 기반의 장면 표현을 생성한다.
• 시각적 개념은 객체 임베딩을 속성별 공간으로 매핑하는 신경 연산자로 구현되며, 분류를 위해 코사인 유사도를 사용한다.
• 의미 파싱은 자연어 질문을 실행 가능한 프로그램의 계층적 도메인 특화 언어(DSL)로 변환한다.
• 준-상징적 프로그램 실행기는 프로그램 모듈을 장면 표현에 결정적으로 적용한다; 중간 결과는 미분 가능성을 유지하기 위해 객체에 대한 확률적 마스크로 표시된다.
• 훈련은 답에 대한 최대우도(y)로 지각과 의미 파싱을 함께 최적화한다; 오프-정책 탐색을 사용한 REINFORCE로 파서를 최적화한다; 커리큘럼 학습은 간단한 질문에서 복잡한 질문으로의 진행을 안내한다.
• 커리큘럼 단계: (1) 객체 수준 개념, (2) 관계 개념, (3) 고정된 지각을 가진 복합 질문, (4) 공동 미세 조정

실험 결과

연구 질문

• RQ1 이미지와 QA 쌍에서 어떤 구성 요소에 대해서도 명시적 감독 없이 시각적 개념, 언어 의미, 의미 파싱을 공동으로 학습할 수 있는가?
• RQ2 신경-상징적 프레임워크가 VQA 과제에서 해석 가능한 추론과 강건한 조합 일반화를 가능하게 하는가?
• RQ3 프로그램 주석 없이 새로운 속성, 구성, 도메인으로 모델이 얼마나 잘 일반화하는가?
• RQ4 학습한 개념이 이미지-자막 검색이나 다른 DSL 구동 도메인과 같은 관련 작업으로 이전될 수 있는가?
• RQ5 커리큘럼 학습이 객체 수준, 관계 및 복합 질문에서 수렴 및 성능에 어떤 영향을 미치는가?

주요 결과

• NS-CL은 객체 특성에 대한 거의 완벽한 개념 양자화와 limited data로도 시각적 추론에서 강한 정확도를 달성한다(5K 이미지에 각 이미지당 20개 질문으로 학습).
• 모델은 프로그램 주석 없이 CLEVR에서 최첨단 QA 성능을 보여주며, 프로그램 추적에 대한 전체 감독 모델에 비해 경쟁력 있는 결과를 보인다.
• NS-CL은 학습 분포를 넘어 더 큰 장면과 더 깊은 질문 프로그램에 적응하는 강력한 조합 일반화를 보여준다.
• 학습된 시각적 개념은 미세 조정 없이 이미지-자막 검색과 같은 새로운 작업으로 이전되며, 최소한의 의미 파싱 적응으로 새로운 DSL에서도 적용 가능하다.
• NS-CL은 데이터 효율성이 강하다; CLEVR 데이터의 10%만으로도 특정 평가에서 전체 데이터로 학습된 기준선과 비슷한 성능을 달성한다.
• Abalations은 객체 기반 표현과 상징적 실행이 해석 가능한 실행 추적과 지각-추론의 효과적인 분리를 제공함을 시사한다.