[논문 리뷰] Lifelong Learning for Image Captioning by Asking Natural Language Questions

Kevin Shen, Amlan Kar외 1명|arXiv (Cornell University)|2018. 12. 01.

Multimodal Machine Learning Applications참고 문헌 16인용 수 4

한 줄 요약

이 논문은 전체 캡션 질의 대신 자연어 질문을 통해 향상되는 일생 동안의 이미지 캡션 생성 에이전트를 제안한다. 불확실성과 교사의 전문성에 기반한 타겟된 질문을 유도하는 의사결정 모듈을 사용함으로써, 기준(active learning) 방법보다 더 적은 인간의 감독을 받는 MSCOCO에서 뛰어난 성능을 달성한다.

ABSTRACT

In order to bring artificial agents into our lives, we will need to go beyond supervised learning on closed datasets to having the ability to continuously expand knowledge. Inspired by a student learning in a classroom, we present an agent that can continuously learn by posing natural language questions to humans. Our agent is composed of three interacting modules, one that performs captioning, another that generates questions and a decision maker that learns when to ask questions by implicitly reasoning about the uncertainty of the agent and expertise of the teacher. As compared to current active learning methods which query images for full captions, our agent is able to ask pointed questions to improve the generated captions. The agent trains on the improved captions, expanding its knowledge. We show that our approach achieves better performance using less human supervision than the baselines on the challenging MSCOCO dataset.

연구 동기 및 목표

• 정적 데이터셋을 넘어서 지속적으로 지식을 확장할 수 있도록 인공 에이전트가 인간 피드백으로부터 학습할 수 있도록 하는 것.
• 전체 캡션 대신 집중적이고 자연어 기반의 질문을 통해 이미지 캡션 작업에서 인간의 레이블링 노력 감소.
• 불확실성 추정과 교사의 전문성을 의사결정 프레임워크에 통합하여 인간과 유사한 학습 방식 모델링.
• 대상화된 인간 질의를 통한 반복적 개선을 통해 캡션 생성 성능 향상.

제안 방법

• 에이전트는 캡션 생성 모듈과 자연어 질의를 생성하는 질문 생성 모듈을 사용한다.
• 의사결정 모듈은 캡션 예측의 불확실성을 평가하고 교사의 전문성에 기반해 언제 인간에게 질문할지를 선택한다.
• 시스템은 일생 동안의 학습 루프를 따르며: 캡션 생성 → 불확실성 평가 → 질문 여부 결정 → 답변 수신 → 재학습.
• 에이전트는 불확실성과 교사 신뢰성에 대해 암묵적으로 추론하여 중복되거나 가치가 낮은 질문을 최소화한다.
• 기존의 활동적 학습에서 전체 캡션 질의를 대체로, 샘플 효율성을 높이기 위해 구체적이고 맥락 기반의 질문을 사용한다.

실험 결과

연구 질문

• RQ1 이미지 캡션 생성 에이전트는 성능을 유지하거나 향상시키면서도 인간의 레이블링 노력을 어떻게 줄일 수 있는가?
• RQ2 활성 학습을 통한 시각-언어 작업에서 전체 캡션 질의보다 자연어 질문을 더 효과적으로 사용할 수 있는가?
• RQ3 불확실성 추정과 교사의 전문성을 통합함으로써 일생 동안의 학습에서 질의 선택에 어떤 영향을 미치는가?
• RQ4 질문 기반 학습이 이미지 캡션에서 표준 활성 학습보다 얼마나 뛰어나게 성능을 향상시키는가?

주요 결과

• 제안된 에이전트는 기준 활성 학습 방법보다 MSCOCO 벤치마크에서 더 뛰어난 성능을 달성한다.
• 기존의 활성 학습 접근 방식에 비해 이미지 캡션 작업에서 더 적은 인간의 감독이 필요로 한다.
• 전체 캡션 대신 집중된 질문을 통해 레이블링 비용을 줄이고 캡션 품질을 향상시킨다.
• 의사결정 과정에 불확실성과 교사 전문성을 통합함으로써 더 효과적인 질의 선택이 가능해진다.