[논문 리뷰] Visual Reasoning by Progressive Module Networks

Seung Wook Kim, Makarand Tapaswi외 1명|arXiv (Cornell University)|2018. 06. 06.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 시각적 추론 모델을 재사용 가능한 블랙박스 하위 모듈들로부터 점진적으로 고차원 작업을 구성함으로써 학습하는, 미분 가능하고 구성적인 프레임워크인 프로그레시브 모듈 네트워크(Progressive Module Networks, PMN)를 제안한다. 소프트 게이팅 메커니즘을 통해 기존 모듈들로부터 쿼리하고 조합함으로써 PMN는 다양한 시각적 추론 작업에서 향상된 성능을 달성하며, 명시적인 추론 추적을 통해 해석 가능성도 향상시키고, 재사용 가능한 사전 훈련된 스킬을 통해 치명적인 잊음( catastrophic forgetting)을 방지함으로써 데이터 효율성을 높인다.

ABSTRACT

Humans learn to solve tasks of increasing complexity by building on top of previously acquired knowledge. Typically, there exists a natural progression in the tasks that we learn - most do not require completely independent solutions, but can be broken down into simpler subtasks. We propose to represent a solver for each task as a neural module that calls existing modules (solvers for simpler tasks) in a functional program-like manner. Lower modules are a black box to the calling module, and communicate only via a query and an output. Thus, a module for a new task learns to query existing modules and composes their outputs in order to produce its own output. Our model effectively combines previous skill-sets, does not suffer from forgetting, and is fully differentiable. We test our model in learning a set of visual reasoning tasks, and demonstrate improved performances in all tasks by learning progressively. By evaluating the reasoning process using human judges, we show that our model is more interpretable than an attention-based baseline.

연구 동기 및 목표

• 기존의 다중 작업 학습에서 작업 간 지식 공유가 이루어지지 않고 상호 연결되지 않는 한계를 해결하기 위해.
• 간단한 사전 훈련된 모듈들로부터 해결책을 조합함으로써 신경망이 점차 복잡한 시각적 추론 작업을 학습할 수 있도록 하기 위해.
• 조합된 모듈의 쿼리 및 응답 추적을 통해 추론 과정을 명시적으로 드러냄으로써 모델의 해석 가능성 향상을 위해.
• 이전에 학습된 모듈들을 재사용함으로써 치명적인 잊음과 데이터 요구량을 줄이고, 데이터 효율성을 향상시키기 위해.

제안 방법

• 각 작업은 하위 모듈들로부터 소프트 게이팅 메커니즘을 통해 쿼리하고 출력을 조합할 수 있는 신경 모듈로 표현된다.
• 모듈들은 오직 쿼리와 출력을 통해만 상호작용하며, 하위 모듈들을 블랙박스로 간주함으로써 모듈 간의 조합과 재사용이 가능해진다.
• 모델은 완전히 미분 가능하므로 모듈 조합 및 통신 파rameter의 엔드 투 엔드 훈련이 가능하다.
• 사용된 모듈의 순서에서 규칙 기반 자연어 설명이 생성되며, 이는 인간 평가자가 추론 품질을 평가할 수 있도록 한다.
• 부모 모듈이 작업 요구사항에 따라 어떤 자식 모듈을 쿼리할지 학습함으로써 선택적 정보 흐름을 지원한다.
• 기존에 훈련된 모듈을 재사용하고 오직 모듈 간 통신만을 학습함으로써 치명적인 잊음을 방지하는 아키텍처 설계가 이루어진다.

실험 결과

연구 질문

• RQ1 신경망이 간단한 사전 훈련된 모듈들로부터 해결책을 조합함으로써 복잡한 시각적 추론 작업을 학습할 수 있는가?
• RQ2 종료에서 종료로 훈련하는 것과 비교해 복합 모듈의 점진적 조합이 성능 향상과 데이터 효율성 향상에 기여하는가?
• RQ3 모듈 쿼리 및 응답의 순서를 폭 드러내어 추론 과정을 해석 가능하게 만들 수 있는가?
• RQ4 저데이터 환경에서 모델은 어떻게 성능을 내며, 사전 훈련된 구성 요소를 재사용함으로써 성능 유지 여부는 어떻게 되는가?
• RQ5 특히 복잡한 추론 작업에서, 주의 기반 기준 모델 대비 정확도와 해석 가능성 측면에서 모델이 승리할 수 있는가?

주요 결과

• PMN는 VQA, 세는 일, 캡션 생성, 관계 추론을 포함한 모든 평가된 시각적 추론 작업에서 비조합 기반 기준 모델을 능가했다.
• 인간 평가자들은 PMN의 추론 설명을 기준 모델보다 유의미하게 더 높게 평가했으며, 정답에 대해 1.38점의 우수성을 보였고, PMN의 정답 대비 기준 모델의 오답에 대해선 0.74점의 우수성을 보였다.
• 저데이터 환경에서 PMN는 훈련 데이터의 10%만을 사용할 때 최대 4.01%p의 절대 정확도 향상을 달성했으며, 강력한 데이터 효율성을 입증했다.
• 훈련 데이터의 25% 이상을 사용할 경우, 모듈 재사용으로 인한 성능 향상은 약 2%로 안정적으로 유지되었으며, 지식 전이의 일관된 이점을 보였다.
• PMN의 추론 과정은 오류에 더 강건한 것으로 밝혀졌다: 최종 답변이 잘못되었더라도 추론 단계에서 부분적인 정확성이 있었을 경우, 기준 모델의 잘못된 추론보다 인간 평가자가 더 높은 점수를 매겼다.
• 모듈 조합 능력 덕분에 모델는 복잡한 질문을 객체 탐지와 공간 관계 또는 속성에 대한 추론으로 분할하여 해결할 수 있었다.