[논문 리뷰] Image Question Answering using Convolutional Neural Network with Dynamic Parameter Prediction

Hyeonwoo Noh, Paul Hongsuck Seo외 1명|arXiv (Cornell University)|2015. 11. 18.

Multimodal Machine Learning Applications참고 문헌 28인용 수 40

한 줄 요약

이 논문은 CNN 내 동적 파라미터 레이어를 사용하는 새로운 이미지 질의응답 모델인 DPP-Net을 제안한다. 여기서 가중치는 GRU 기반의 파라미터 예측 네트워크에 의해 적응적으로 예측된다. 계산 복잡도를 줄이기 위해 파라미터 해싱을 적용함으로써, 복잡한 주의 메커니즘 또는 개체 수준의 애너테이션을 요구하지 않고도 VQA, COCO-QA, DAQUAR를 포함한 모든 주요 ImageQA 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

We tackle image question answering (ImageQA) problem by learning a convolutional neural network (CNN) with a dynamic parameter layer whose weights are determined adaptively based on questions. For the adaptive parameter prediction, we employ a separate parameter prediction network, which consists of gated recurrent unit (GRU) taking a question as its input and a fully-connected layer generating a set of candidate weights as its output. However, it is challenging to construct a parameter prediction network for a large number of parameters in the fully-connected dynamic parameter layer of the CNN. We reduce the complexity of this problem by incorporating a hashing technique, where the candidate weights given by the parameter prediction network are selected using a predefined hash function to determine individual weights in the dynamic parameter layer. The proposed network---joint network with the CNN for ImageQA and the parameter prediction network---is trained end-to-end through back-propagation, where its weights are initialized using a pre-trained CNN and GRU. The proposed algorithm illustrates the state-of-the-art performance on all available public ImageQA benchmarks.

연구 동기 및 목표

• 질문의 의미적 내용에 따라 단일 CNN이 인식 작업을 동적으로 적응시킬 수 있도록 하여 이미지 질의응답에서 종합적 인지 이해의 과제를 해결한다.
• 완전 연결 레이어에서 많은 수의 동적 파라미터를 예측하는 데 발생하는 계산 부담을 줄이기 위해 파라미터 해싱을 적용한다.
• 대규모 텍스트 코퍼스에서 GRU를 미세조정하여 저자료 환경에서의 일반화 성능을 향상시킨다.
• 복잡한 주의 또는 검출 모듈에 의존하지 않고도 여러 공개 ImageQA 벤치마크에서 최고 성능을 달성한다.

제안 방법

• 입력 질문에 기반해 실시간으로 가중치가 예측되는 동적 완전 연결 레이어를 갖춘 깊은 CNN.
• 질문 인코딩을 위한 GRU 인코더와 동적 레이어의 후보 가중치를 생성하기 위한 완전 연결 레이어로 구성된 별도의 파라미터 예측 네트워크.
• 동적 레이어의 학습 가능한 파라미터 수를 줄이면서도 네트워크 용량을 유지하기 위해 해싱 기법을 적용한다.
• 백프로파게이션을 사용해 전체 네트워크를 엔드 투 엔드로 훈련하며, 사전 훈련된 CNN 및 GRU 모델의 가중치로 초기화한다.
• 저자원 ImageQA 데이터셋에서의 성능 향상을 위해 대규모 텍스트 코퍼스에서 GRU를 미세조정한다.
• 추론 중에 파라미터 예측 네트워크가 관련 질문을 어떻게 해석하고 검색하는지 분석하기 위해 코사인 유사도를 사용한다.

실험 결과

연구 질문

• RQ1 단일 CNN 아키텍처가 질문의 의미적 내용에 따라 인식 작업을 동적으로 적응시킬 수 있는가?
• RQ2 딥 러닝 모델에서 대규모 스케일의 동적 파라미터 예측을 계산적으로 실현 가능한 방식으로 구현할 수 있는가?
• RQ3 대규모 텍스트 코퍼스에서 질문 인코더를 미리 훈련하면 저자원 ImageQA 데이터셋에서 성능 향상에 기여하는가?
• RQ4 해싱 기반의 파라미터 공유 전략이 모델 복잡도를 줄이면서도 높은 성능을 유지할 수 있는가?
• RQ5 다양한 유형의 질문(다양한 수준의 시각적 및 언어적 이해가 요구됨)에 대해 모델의 일반화 능력은 어떠한가?

주요 결과

• 제안된 DPP-Net은 VQA, COCO-QA, DAQUAR를 포함한 세 가지 주요 ImageQA 벤치마크에서 모두 최고 성능을 달성한다.
• VQA 데이터셋에서 모델은 67.81%의 탑-10 정확도를 기록했으며, 이는 이전의 방법들인 ConvQA(62.95%)와 DPPnet(60.77%)를 모두 능가한다.
• COCO-QA 데이터셋에서 모델은 67.81%의 탑-10 정확도를 달성했으며, 이는 이전 최고 성능 방법(DPPnet)보다 7.04%p 높다.
• DAQUAR-reduced 데이터셋에서 모델은 34.80%의 탑-10 정확도를 기록했으며, 이는 이전 최고 성능 방법(DPPnet)보다 3.62%p 높다.
• 모델는 다양한 질문 유형에서 강력한 일반화 능력을 보이며, 특히 이진 및 다중 선택 질문에서 뛰어난 성능을 보였지만, 세는 작업 및 개체 검출 작업에서는 어려움을 겪는다.
• 대규모 텍스트 코퍼스에서 GRU를 미세조정하면, 질의의 의미적 의도에 기반해 질문을 해석하는 능력이 향상되며, 이는 유사 질문 검색의 정성적 분석을 통해 확인되었다.