[논문 리뷰] Meta Module Network for Compositional Visual Reasoning

Wenhu Chen, Zhe Gan외 4명|arXiv (Cornell University)|2019. 10. 08.

Multimodal Machine Learning Applications참고 문헌 47인용 수 11

한 줄 요약

이 논문은 기능 레시피에서 작업별 모듈을 동적으로 생성하는 공유 메타 모듈을 사용하는 새로운 신경 모듈 네트워크 아키텍처인 메타 모듈 네트워크(MMN)를 제안한다. 이를 통해 확장 가능하고 일반화 가능한 시각적 추론이 가능해지며, 함수를 임베딩 공간에 인코딩함으로써 새로운 함수에도 일반화되며 모델 복잡도는 일정하게 유지된다. 이는 GQA와 CLEVR에서 기존 NMN보다 우수한 성능을 보이며, 보류된 함수에 대해 강력한 제로샷 일반화 성능을 확보한다.

ABSTRACT

Neural Module Network (NMN) exhibits strong interpretability and compositionality thanks to its handcrafted neural modules with explicit multi-hop reasoning capability. However, most NMNs suffer from two critical drawbacks: 1) scalability: customized module for specific function renders it impractical when scaling up to a larger set of functions in complex tasks; 2) generalizability: rigid pre-defined module inventory makes it difficult to generalize to unseen functions in new tasks/domains. To design a more powerful NMN architecture for practical use, we propose Meta Module Network (MMN) centered on a novel meta module, which can take in function recipes and morph into diverse instance modules dynamically. The instance modules are then woven into an execution graph for complex visual reasoning, inheriting the strong explainability and compositionality of NMN. With such a flexible instantiation mechanism, the parameters of instance modules are inherited from the central meta module, retaining the same model complexity as the function set grows, which promises better scalability. Meanwhile, as functions are encoded into the embedding space, unseen functions can be readily represented based on its structural similarity with previously observed ones, which ensures better generalizability. Experiments on GQA and CLEVR datasets validate the superiority of MMN over state-of-the-art NMN designs. Synthetic experiments on held-out unseen functions from GQA dataset also demonstrate the strong generalizability of MMN. Our code and model are released in Github https://github.com/wenhuchen/Meta-Module-Network.

연구 동기 및 목표

• 신경 모듈 네트워크(NMNs)의 확장성과 일반화 능력의 한계를 해결하기 위해, 각 함수마다 수작업으로 제작된 모듈이 필요하고, 새로운 함수에 대해 일반화하지 못하는 문제를 해결한다.
• 함수의 수가 증가함에 따라 모델 복잡도가 일정하게 유지되는 융통성 있는 아키텍처를 설계한다.
• 함수 레시피 임베딩 간의 구조적 유사성을 활용하여, 본 적 없는 함수에 대해 제로샷 일반화를 가능하게 한다.
• 표준 NMNs보다 실용성이 향상된 실제 시각적 추론 작업에 적합하면서도, 해석 가능성과 조합성을 유지한다.

제안 방법

• 메타 모듈은 입력된 기능 레시피(키-값 쌍)를 연속 임베딩으로 인코딩하여, 파rameter 공유를 통해 기능별로 특화된 인스턴스 모듈을 동적으로 생성하도록 훈련된다.
• 기능 레시피는 벡터 공간에 임bed딩되어, 메타 모듈이 파rameter 공유를 통해 기능별 모듈을 생성할 수 있도록 한다.
• 교사-학생 훈련 프레임워크는 중간 단계의 감독을 제공한다: 기호적 교사가 정확한 중간 출력을 생성하고, 이를 학생 인스턴스 모듈이 안내한다.
• 모델은 질문을 실행 가능한 프로그램으로 변환하기 위해 굵은-세밀한 의미 분석기(semantic parser)를 사용하며, 이후 생성된 모듈의 실행 그래프를 통해 프로그램을 실행한다.
• 모듈 감독(교사 신호를 통한)과 답변 감독을 함께 최적화함으로써 정확한 추론과 일반화를 보장한다.
• 미리 학습된 함수 레시피의 임베딩을 기반으로 본 적 없는 함수 레시피를 임bed딩하고, 유사한 함수들과의 유사도에 따라 새로운 모듈을 생성함으로써 제로샷 추론을 지원한다.

실험 결과

연구 질문

• RQ1 함수 집합이 증가함에 따라 모델 복잡도가 증가하지 않도록, 단일 메타 모듈이 다양한 작업별 모듈을 동적으로 생성할 수 있는가?
• RQ2 학습된 함수들과의 임베딩 유사성을 활용하여, 본 적 없는 함수에 대해 일반화할 수 있는가?
• RQ3 제안된 방법이 표준 NMNs보다 확장성과 일반화 능력을 향상시키면서도 강력한 해석 가능성과 조합성을 유지하는가?
• RQ4 종료 지점 답변 감독만 사용하는 것과 비교해, 모듈 감독이 추론 정확도 향상에 얼마나 효과적인가?

주요 결과

• MMN는 GQA와 CLEVR에서 최신 기준(SOTA) 성능을 달성하며, 기존 NMN 기반 모델을 능가한다.
• 모듈 감독(η = 0.5)을 사용할 경우, 6층 MCAN과 유사한 파라미터 수를 가짐에도 불구하고, 1층 MCAN보다 정확도가 향상된다.
• 보류된 새로운 함수에 대해, verify_shape의 제로샷 정확도는 61%이며, choose_name의 경우 79%를 기록하여 랜덤 베이스라인(5%)보다 훨씬 높다.
• 중간 추론 단계에 대해 Recall@1은 59%, Recall@2는 73%를 기록하여 기호적 교사 출력과 강력한 일치를 보인다.
• 절단 실험 결과, 4 에포크 동안 부트스트랩을 수행할 경우 성능 향상이 나타나며, 모듈 감독이 높은 정확도를 확보하는 데 핵심적임을 확인했다.
• 레시피 임베딩의 구조적 유사성을 활용하여, 효과적으로 새로운 함수로 일반화되며, 강력한 제로샷 능력을 입증한다.