[論文レビュー] Lifelong Learning for Image Captioning by Asking Natural Language Questions

Kevin Shen, Amlan Kar+1 more|arXiv (Cornell University)|Dec 1, 2018

Multimodal Machine Learning Applications参考文献 16被引用数 4

ひとこと要約

本稿では、完全なキャプションクエリの代わりに自然言語による質問を通じて学習を改善する、生涯にわたる画像キャプション生成エージェントを提案する。不確実性と教師の専門性に基づいて的を射た質問を生成する意思決定モジュールを用いることで、MSCOCOでベースラインのアクティブラーニング手法よりも優れた性能を達成し、人的監視をより少なくする。

ABSTRACT

In order to bring artificial agents into our lives, we will need to go beyond supervised learning on closed datasets to having the ability to continuously expand knowledge. Inspired by a student learning in a classroom, we present an agent that can continuously learn by posing natural language questions to humans. Our agent is composed of three interacting modules, one that performs captioning, another that generates questions and a decision maker that learns when to ask questions by implicitly reasoning about the uncertainty of the agent and expertise of the teacher. As compared to current active learning methods which query images for full captions, our agent is able to ask pointed questions to improve the generated captions. The agent trains on the improved captions, expanding its knowledge. We show that our approach achieves better performance using less human supervision than the baselines on the challenging MSCOCO dataset.

研究の動機と目的

• 静的データセットにとどまらず、人間のフィードバックから学習することで、人工エージェントが継続的に知識を拡張できるようにすること。
• 完全なキャプションの代わりに的を射た自然言語の質問を用いることで、画像キャプション作成における人的ラベル付けの負担を軽減すること。
• 不確実性推定と教師の専門性を意思決定フレームワークに統合することで、人間の学び方に類似した学習をモデル化すること。
• 的を射た人間の照会を繰り返し行うことで、段階的な改善を図ることでキャプション生成の性能を向上させること。

提案手法

• エージェントはキャプション生成モジュールと質問生成モジュールを用いて、画像の記述を生成し、自然言語の照会を策定する。
• 意思決定モジュールはキャプション予測の不確実性を評価し、教師の専門性に基づいて、いつ人間の照会を行うかを決定する。
• システムは生涯学習のループで動作する：キャプションを生成 → 不確実性を評価 → 照会を実施するか判断 → 回答を受領 → 再トレーニング。
• エージェントは不確実性と教師の信頼性について暗黙的に推論することで、重複するか価値の低い照会を最小限に抑える。
• 従来のアクティブラーニングにおける完全なキャプションの照会を、的を射た、文脈に特化した質問に置き換えることで、サンプル効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 画像キャプション生成エージェントは、性能を維持または向上させつつ、人的ラベル付けの負担をどのように軽減できるか？
• RQ2 ビジョン・ランゲージタスクにおけるアクティブラーニングにおいて、完全なキャプションの照会よりも自然言語の質問をより効果的に使用できるか？
• RQ3 不確実性推定と教師の専門性を統合することで、生涯学習における照会選択はどのように改善されるか？
• RQ4 質問ベースの学習は、画像キャプションにおける標準的なアクティブラーニングに比べて、どの程度優れているか？

主な発見

• 提案されたエージェントは、ベースラインのアクティブラーニング手法よりもMSCOCOベンチマークで優れた性能を達成した。
• 既存の画像キャプション用アクティブラーニングアプローチと比較して、人的監視が少ない。
• 完全なキャプションの代わりに的を射た質問を用いることで、ラベル付けコストを削減しながらキャプションの品質を向上させた。
• 意思決定プロセスに不確実性と教師の専門性を統合することで、より効果的な照問選択が実現した。