[논문 리뷰] Visual Question Generation as Dual Task of Visual Question Answering

Yikang Li, Nan Duan외 4명|arXiv (Cornell University)|2017. 09. 21.

Multimodal Machine Learning Applications참고 문헌 26인용 수 28

한 줄 요약

이 논문은 공유 파라미터와 이중성 정규화를 활용하여 시각적 질의 응답(VQA)과 시각적 질의 생성(VQG)을 이중 작업으로 함께 훈련하는 엔드 투 엔드 통합 프레임워크 iQAN을 제안한다. 이미지 컨텍스트를 기반으로 질문과 답변을 상호 변환할 수 있는 단일 모델을 훈련시켜 CLEVR 및 VQA2 데이터셋에서 VQA 정확도를 향상시키며, 다양한 VQA 아키텍처에서 일관된 성능 향상을 이끌어내고, 레이블이 부여된 답변에서 합성 질문-응답 쌍을 생성하는 VQG를 활용한 효과적인 데이터 증강 기법을 제공한다.

ABSTRACT

Recently visual question answering (VQA) and visual question generation (VQG) are two trending topics in the computer vision, which have been explored separately. In this work, we propose an end-to-end unified framework, the Invertible Question Answering Network (iQAN), to leverage the complementary relations between questions and answers in images by jointly training the model on VQA and VQG tasks. Corresponding parameter sharing scheme and regular terms are proposed as constraints to explicitly leverage Q,A's dependencies to guide the training process. After training, iQAN can take either question or answer as input, then output the counterpart. Evaluated on the large-scale visual question answering datasets CLEVR and VQA2, our iQAN improves the VQA accuracy over the baselines. We also show the dual learning framework of iQAN can be generalized to other VQA architectures and consistently improve the results over both the VQA and VQG tasks.

연구 동기 및 목표

• VQA와 VQG 간 상호 감독의 부족을 해결하기 위해, 공유된 시각적 및 텍스트 표현을 가진 이중 작업으로 간주함으로써 이중성 원리를 적용한다.
• 파라미터 공유와 이중성 제약 조건을 사용해 VQA와 VQG를 함께 훈련시켜 일반화 능력과 표현 학습을 향상시킨다.
• 저비용으로 레이블이 부여된 답변에서 VQG 모델을 활용해 합성 훈련 데이터를 생성함으로써 VQA 성능 향상을 탐색한다.
• 기본 Mutan 모델 외의 다양한 VQA 아키텍처에 적용 가능한 일반화 가능한 프레임워크를 개발한다.

제안 방법

• Mutan 모델 기반의 가역적 크로스 어텐션 퓨전 모듈을 제안하여 이미지+질문에서 답변으로, 그리고 이미지+응답에서 질문으로의 이중 추론을 가능하게 한다.
• VQA와 VQG 간에 동일한 시각 인코더, 질문 인코더, 답변 디코더를 공유하는 파라미터 공유 기법을 도입하여 구조적 이중성을 강제한다.
• 공동 훈련 중 질문-응답 쌍 간의 종속성을 명시적으로 모델링하기 위해 이중성 정규화를 적용한다.
• 질문에서 답변을 예측하고, 답변에서 질문을 예측하는 것을 번갈아가며 수행하는 이중 훈련 목표를 사용하여 모델의 강건성과 일반화 능력을 향상시킨다.
• 훈련된 VQG 모델을 활용해 주어진 답변에서 합성 질문을 생성함으로써, 저비용으로 레이블이 부여된 답변에서 데이터 증강을 수행한다.
• 증강된 데이터에서 사전 훈련한 후에 실제 질문-응답 쌍을 사용해 미세 조정을 수행함으로써 모델 품질 향상과 분포 일치를 도모한다.

실험 결과

연구 질문

• RQ1 파라미터 공유와 이중성 정규화를 통해 VQA와 VQG를 이중 작업으로 함께 훈련시킬 경우, 양 작업의 성능 향상이 가능할까?
• RQ2 제안된 이중 훈련 기법은 표준 벤치마크에서 VQA 정확도 향상과 VQG 생성 품질 향상에 얼마나 효과적인가?
• RQ3 iQAN 프레임워크는 기본 Mutan 모델 외의 다른 VQA 아키텍처로 일반화될 수 있는가?
• RQ4 레이블이 부여된 답변에서 VQG를 사용해 고품질의 합성 훈련 데이터를 생성함으로써 VQA 성능 향상에 얼마나 기여할 수 있는가?
• RQ5 제한된 실제 질문-응답 쌍과 함께 VQG로 생성된 질문을 사용한 데이터 증강이 일반화 능력 향상에 기여하는가?

주요 결과

• iQAN은 VQA2 및 CLEVR 벤치마크에서 최신 기술 수준의 성능을 달성하여 기준 모델보다 VQA 정확도에서 뛰어난 성능을 보였다.
• VQA2 데이터셋에서 이중 훈련된 iQAN 모델은 훈련 데이터의 0.5를 레이블이 부여된 질문-응답 쌍으로, 나머지 0.5를 데이터 증강용 답변으로 사용할 경우 48.48%의 top-1 정확도를 달성했다.
• Mutan, MLB, ResNet-LSTM 등 다양한 VQA 아키텍처에서 일관되게 성능 향상을 보이며, 기본 모델을 초월한 일반화 능력을 입증했다.
• VQG를 통한 증강 데이터 전략(VQG+DT+FT)은 기준 모델 및 표준 이중 훈련보다 뛰어나 10%의 원본 데이터만을 레이블이 부여된 쌍으로 사용할 경우 39.95%의 top-1 정확도를 기록했다.
• 이중 훈련 기법은 동시에 VQA와 VQG 성능을 향상시켜 두 작업 간 상호 보완적 성질을 입증했다.
• 이중성 정규화와 파라미터 공유가 훈련을 효과적으로 정규화하여 더 나은 일반화 능력과 더 강건한 다중모달 표현을 이끌어냈다.