[논문 리뷰] Training Recurrent Answering Units with Joint Loss Minimization for VQA

Hyeonwoo Noh, Bohyung Han|arXiv (Cornell University)|2016. 06. 12.

Multimodal Machine Learning Applications참고 문헌 26인용 수 69

한 줄 요약

이 논문은 공유 가중치를 가진 답변 유닛을 갖는 순환 시각질문응답 모델을 제안하며, 여러 추론 단계에서 손실을 동시에 최소화한다. 학습 중 과적합되는 유닛에 대해 조기 정지 기법을 적용하고 추론 시에는 오직 첫 번째 유닛만을 사용함으로써, 데이터 증강 없이도 VQA 데이터셋에서 최신 기술 수준의 성능을 달성한다. 고정된 단계 수를 가진 다단계 모델보다 뛰어난 성능을 발휘한다.

ABSTRACT

We propose a novel algorithm for visual question answering based on a recurrent deep neural network, where every module in the network corresponds to a complete answering unit with attention mechanism by itself. The network is optimized by minimizing loss aggregated from all the units, which share model parameters while receiving different information to compute attention probability. For training, our model attends to a region within image feature map, updates its memory based on the question and attended image feature, and answers the question based on its memory state. This procedure is performed to compute loss in each step. The motivation of this approach is our observation that multi-step inferences are often required to answer questions while each problem may have a unique desirable number of steps, which is difficult to identify in practice. Hence, we always make the first unit in the network solve problems, but allow it to learn the knowledge from the rest of units by backpropagation unless it degrades the model. To implement this idea, we early-stop training each unit as soon as it starts to overfit. Note that, since more complex models tend to overfit on easier questions quickly, the last answering unit in the unfolded recurrent neural network is typically killed first while the first one remains last. We make a single-step prediction for a new question using the shared model. This strategy works better than the other options within our framework since the selected model is trained effectively from all units without overfitting. The proposed algorithm outperforms other multi-step attention based approaches using a single step prediction in VQA dataset.

연구 동기 및 목표

• 시각질문응답(VQA) 질문에 대해 최적의 추론 단계 수를 결정하는 문제에 대응하기 위해, 질문마다 다를 수 있는 단계 수를 사전에 정의하기 어려운 점을 해결한다.
• 공유 파라미터를 가진 다중 답변 유닛을 갖는 순환 네트워크를 학습시켜 일반화 능력과 성능을 향상시킨다.
• 후속 추론 단계에서 과적합을 방지하면서도, 더 안정적인 초기 단계의 유닛들이 보유한 지식을 유지하는 학습 전략을 개발한다.
• 공동 손실 최소화와 점진적 조기 정지를 통해 모든 유닛의 지식을 활용함으로써, 단일 단계 추론을 효과적으로 수행할 수 있도록 한다.

제안 방법

• 모델는 순환 아키텍처를 사용하며, 각 답변 유닛은 이미지 및 질문 특징을 처리하고, 관련된 이미지 영역에 집중하기 위해 주의 메커니즘을 적용하며, 메모리 상태를 갱신한다.
• 모든 답변 유닛은 동일한 모델 파라미터를 공유하지만, 다른 컨텍스트를 받는다: 초기 유닛들은 이전 단계의 특징을 입력받아 계층적 추론을 가능하게 한다.
• 네트워크는 모든 유닛의 손실을 종합하는 공동 손실 함수를 최소화함으로써 학습되며, 각 유닛이 전체 예측에 기여하도록 유도한다.
• 각 유닛별로 조기 정지 전략을 적용한다: 검증 정확도가 저하되기 시작하는 순간 즉시 학습을 중단함으로써 과적합을 방지한다.
• 추론 시에는 오직 첫 번째 답변 유닛만을 사용하여 예측을 수행한다. 이는 가장 안정적이며, 모든 다른 유닛의 지식을 반영해 학습되기 때문이다.
• 공동 최적화를 통해 각 유닛이 다른 추론 깊이에 특화되도록 하여, 질문에 따라 최적의 단계 수를 암묵적으로 학습한다.

실험 결과

연구 질문

• RQ1 공유 가중치를 가진 답변 유닛을 갖는 순환 VQA 모델이 다중 추론 단계에서 공동 최적화를 통해 성능을 향상시킬 수 있는가?
• RQ2 학습 중 과적합되는 유닛에 대해 조기 정지를 적용하면 단일 단계 추론에서 일반화 능력이 향상되는가?
• RQ3 다양한 단계에서 공동 손실을 통해 학습된 단일 답변 유닛이 고정된 사전 지정된 추론 깊이를 가진 모델보다 성능이 뛰어나게 되는가?
• RQ4 점진적 조기 정지는 다양한 추론 단계가 필요한 질문을 처리하는 데 모델의 능력에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법 Ours_FULL은 VGG-16 특징을 사용하여 VQA 데이터셋에서 테스트-개발 정확도 63.2%를 달성하며, 다른 다단계 어텐션 기반 모델보다 뛰어난 성능을 보였다.
• Ours_SS(단일 단계 기준선)에서 Ours_FULL(공동 손실 및 조기 정지 적용)로의 성능 향상은 2.3%p로, VQA 맥락에서 의미 있는 개선이다.
• ResNet-101 특징을 사용할 경우, 모델은 테스트-개발 분할에서 67.3%의 정확도, 테스트-스탠다드 분할에서 61.0%의 정확도를 기록하여, 더 나은 이미지 인코더와 함께 뛰어난 확장성을 보였다.
• 시각화 결과, Ours_FULL은 의미적으로 관련 있는 이미지 영역에 집중하는 반면, Ours_SS는 종종 관련 없는 물체에 산산이 흩트여 있는 것으로 나타나, 더 나은 어텐션 학습이 이루어졌음을 시사한다.
• 추론에 사용되는 첫 번째 답변 유닛은 조기 정지 메커니즘 덕분에 과적합 없이 모든 유닛의 지식을 반영해 학습되었기 때문에 가장 뛰어난 성능을 보였다.