[論文レビュー] DeepDiary: Automatic Caption Generation for Lifelogging Image Streams

Chenyou Fan, David Crandall|arXiv (Cornell University)|Aug 12, 2016

Multimodal Machine Learning Applications参考文献 46被引用数 4

ひとこと要約

本稿では、時間的整合性を活用して正確性を向上させ、ノイズを低減する深層学習フレームワークであるDeepDiaryを提案する。自動キャプション生成が再トレーニングが不要な教師あり分類器と同等の性能を達成できることが示され、プライベートコンテンツの画像検索を効果的に支援できる。

ABSTRACT

Lifelogging cameras capture everyday life from a first-person perspective, but generate so much data that it is hard for users to browse and organize their image collections effectively. In this paper, we propose to use automatic image captioning algorithms to generate textual representations of these collections. We develop and explore novel techniques based on deep learning to generate captions for both individual images and image streams, using temporal consistency constraints to create summaries that are both more compact and less noisy. We evaluate our techniques with quantitative and qualitative results, and apply captioning to an image retrieval application for finding potentially private images. Our results suggest that our automatic captioning algorithms, while imperfect, may work well enough to help users manage lifelogging photo collections.

研究の動機と目的

• ウェアラブルカメラから得られる膨大で重複するライフログ写真コレクションの整理の課題に対処すること。
• 最初人称視覚データを要約・アノテートするための自動画像キャプション生成を検討すること。
• 画像ストリーム全体にわたる時間的整合性をモデル化することで、キャプションの品質と多様性を向上させること。
• 生成されたキャプションを用いてキーワード検索を実施し、機密性の高いコンテンツ（例：お風呂、スクリーン）の検索を可能にすること。
• 人間がアノテートした参照文を含む、現実的で新規に収集されたライフログデータセットを用いて、手法を評価すること。

提案手法

• 独自のデータセットで微調整されたAlexNetの特徴を活用し、最初人称画像を対象とした深層学習ベースの画像キャプションモデルを構築する。
• キャプションにおける多様な文構造と視点を促進する新しい戦略を導入し、記述の豊かさを向上させる。
• 時間的に連続する画像ストリームに対して、マルコフ確率場（MRF）モデルを用いて連合キャプションを定式化し、時間的整合性を強制する。
• MRFフレームワークを用いて画像シーケンス全体でキャプションを同時に推定し、ノイズを低減するとともに一貫性を向上させる。
• 各画像について上位5つの生成キャプションにキーワード検索を適用し、機密性の高いコンテンツ（例：「お風呂」「ラップトップ」）を検出する。これにより、分類器の再トレーニングが不要となる。
• 評価のため、非機密な画像34,736枚、機密場所の画像6,135枚、ディスプレイを含む画像4,379枚を含む実世界のライフログデータセットを収集・アノテートする。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースの画像キャプション生成は、ノイズが多く、構図が悪い最初人称ライフログ画像に対し、意味的で多様な記述を生成できるか？
• RQ2 個々の画像キャプション生成と比較して、画像ストリーム全体にわたる時間的整合性をモデル化することで、キャプションの品質が向上し、誤りが減少するか？
• RQ3 明示的な再トレーニングが不要な状態で、自動生成キャプションが機密性の高い画像（例：お風呂、スクリーン）の効果的検索を支援できるか？
• RQ4 同じタスクに対して教師ありCNN分類器と比較した場合、キャプションベースの検出手法の性能はどの程度か？
• RQ5 画像ストリーム全体にわたる連合キャプション生成は、よりコンactで一貫性があり、実用的な日常活動の要約をどの程度向上できるか？

主な発見

• キャプションベース手法は、デジタルディスプレイ関連の機密画像（例：スクリーン、ラップトップ）を80%の再現率で検索する際、78%の精度を達成し、同じタスクで同じ性能を示す教師ありCNNベースライン（65.7%の精度）を上回った。
• 機密場所（例：お風呂）の検出に関しては、教師ありCNNが81.1%の再現率を示し、わずかにキャプションベース手法（79.2%）を上回ったが、後者は分類器の再トレーニングが不要であった。
• 機密対象（機密）対非機密対象の統合二値分類タスクにおいて、キャプションベース手法は80%の再現率で78%の精度を達成し、実用的な有効性が確認された。
• MRFベースの連合キャプションモデルは、時間的に隣接する複数の画像からの証拠を活用することで、ノイズ低減と一貫性向上を実現した。
• 本手法により、生成キャプション内のキーワード検索が可能となり、分類器ごとの再トレーニングが不要なスケーラブルな代替手法として、プライベート画像の検出が可能になった。
• 定量的および定性的な評価から、自動キャプション生成は完璧ではないものの、写真の整理やプライバシー保護フィルタリングといった実用的応用を支援するのに十分な正確性を有していることが確認された。