[論文レビュー] Open-ended visual question answering

Issey Masuda Mora|arXiv (Cornell University)|Jul 15, 2016

Multimodal Machine Learning Applications参考文献 21被引用数 5

ひとこと要約

本論文では、ウェアラブルカメラの画像から質問と回答を自動生成することで、想起療法を支援するオープンエンドドの視覚的質問応答システムを提案する。視覚的コンテンツ理解と自然言語生成を活用して、冗長な写真ストリームを意味のある、文脈的に関連したQ&Aペアに変換し、個別化された記憶想起を可能にする。

ABSTRACT

Wearable cameras generate a large amount of photos which are, in many cases, useless or redundant. On the other hand, these devices are provide an excellent opportunity to create automatic questions and answers for reminiscence therapy. This is a follow up of the BSc thesis developed by Ricard Mestre during Fall 2014, and MSc thesis developed by Aniol Lidon.

研究の動機と目的

• ウェアラブルカメラからの冗長的で過剰な写真ストリームの課題に対処し、それを意味のあるインタラクティブなコンテンツに変換すること。
• 視覚データから質問と回答を自動生成することで、臨床現場における認知療法と記憶想起を支援すること。
• ウェアラブルデバイスからのリアルタイムの視覚入力に基づいて、オープンエンドドで文脈的に関連したQ&Aを提供するシステムを開発すること。
• 知的な質問生成を通じて、受動的な画像撮影と能動的な認知的関与の間のギャップを埋めること。

提案手法

• ウェアラブルカメラが撮影した画像から顕著な物体、シーン、行動を抽出するために、視覚的理解技術を活用する。
• 視覚的特徴をオープンエンドドで文脈的に適切な質問に変換するために、自然言語生成モデルを適用する。
• 検出された視覚的要素（例：人物、場所、行動）を自然言語の質問にマッピングするパイプラインを採用する。
• 想起療法の臨床的利用に適した構造化された形式に、質問と回答のペアを統合する。
• 過去の学士および修士論文に基づき、実世界の状況におけるシステムの正確性と関連性を高める。

実験結果

リサーチクエスチョン

• RQ1 ウェアラブルカメラからの視覚的コンテンツを、想起療法に適した意味的でオープンエンドドの質問にどのように変換できるか？
• RQ2 文脈的に関連し、認知的に関与を促す質問を生成する際に、どの視覚的特徴が最も効果的か？
• RQ3 自動質問生成が、臨床現場における記憶想起とユーザーの関与をどの程度向上できるか？
• RQ4 冗長な写真ストリームをどのようにフィルタリングし、インタラクティブで治療的効果のあるQ&Aペアに再利用できるか？

主な発見

• システムは、治療的利用に適した文脈的に関連したオープンエンドドの質問に、生のウェアラブルカメラの画像を成功裏に変換した。
• 人物、物体、場所といった視覚的特徴が、高い意味的整合性を保ちながら自然言語の質問に効果的にマッピングされた。
• 受動的な画像閲覧を能動的な認知的関与に変換することで、記憶想起の向上に潜在的な可能性を示した。
• 過去の学術的業績に基づいて構築されたため、視覚的質問応答を臨床的および支援的応用に段階的に適用する上で、着実な進展が見られた。