[論文レビュー] Visual Summary of Egocentric Photostreams by Representative Keyframes

Marc Bolaños, Ricard Gavaldà+3 more|RECERCAT (Consorci de Serveis Universitaris de Catalunya)|May 5, 2015

Video Analysis and Summarization参考文献 12被引用数 6

ひとこと要約

本稿では、CNNで抽出した視覚的特徴量と階層的クラスタリングを用いてイベントをセグメント化し、その後、ランダムウォークまたは最小距離アルゴリズムを用いて代表的なキーフレームを選択する、エゴセントリックなフォトストリームのための教師なしキーフレームベースの要約手法を提案する。この手法は盲検テストにおいて高いユーザー満足度を達成し、最良の要約とされた割合が58%にのぼり、ランダムおよび均等サンプリングのベースラインを著しく上回った。

ABSTRACT

Building a visual summary from an egocentric photostream captured by a lifelogging wearable camera is of high interest for different applications (e.g. memory reinforcement). In this paper, we propose a new summarization method based on keyframes selection that uses visual features extracted by means of a convolutional neural network. Our method applies an unsupervised clustering for dividing the photostreams into events, and finally extracts the most relevant keyframe for each event. We assess the results by applying a blind-taste test on a group of 20 people who assessed the quality of the summaries.

研究の動機と目的

• 軽度認知障害（MCI）患者の記憶強化を支援するため、エゴセントリックなフォトストリームの自動視覚的要約手法を開発すること。
• 低時間分解能のライフログ画像から、代表的なキーフレームを用いて要約性に富んだ短い要約を生成すること。
• イベントセグメンテーションおよびキーフレーム選択において、時間的整合性と視覚的代表性を確保すること。
• 20名の参加者を対象とした盲検テストを用いて、要約の質をユーザーの認識に基づき評価すること。
• ランダムウォーク、最小距離、ランダムベースラインといった異なるキーフレーム選択戦略および均等サンプリングとの性能を比較すること。

提案手法

• 事前学習済み畳み込みニューラルネットワーク（CNN）を用いて、各フレームのグローバルな視覚的記述子を抽出する。
• CNN特徴量に教師なしの階層的クラスタリングを適用し、フォトストリームを時間的に整合性のあるイベントにセグメント化する。
• クラスタリングの結果を改善し、時間的整合性を保証するために、分割統合（DF）戦略を用いる。
• 各イベントに対して、ランダムウォークまたは最小距離アルゴリズムを用いて代表的なキーフレームを選択する。
• 選択されたキーフレームを組み合わせることで最終的な視覚的要約を構築し、検出されたイベント数と一致する総数とする。
• 要約の品質を、ランダムウォーク、最小距離、ランダムベースライン、均等サンプリングの4つの構成を比較する盲検テストを通じて評価する。

実験結果

リサーチクエスチョン

• RQ1 提案手法のCNNベースの特徴抽出とクラスタリングアプローチは、エゴセントリックなフォトストリームを意味のあるイベントにセグメント化する上でどの程度有効であるか？
• RQ2 人間の判断に基づくと、キーフレーム選択戦略としてランダムウォークと最小距離のどちらがより代表的なフレームを生成するか？
• RQ3 要約の質の観点から、提案手法はランダムおよび均等サンプリングのベースラインと比較してどの程度優れているか？
• RQ4 ユーザーは生成された要約を、1日分の活動の代表としてどの程度適切に認識しているか？
• RQ5 本手法は、MCI患者の記憶想起を支援するための視覚的に整合性があり、情報豊富な要約を生成できるか？

主な発見

• ランダムウォークおよび最小距離のキーフレーム選択戦略は、ランダムベースラインを著しく上回り、それぞれ88%および86%の要約が1日分の活動を代表していると判断された。
• 直接比較において、提案手法は58%の票を獲得し、最良の要約とされた。これはランダムベースライン比で34%、均等サンプリングベースライン比で41%の改善を示した。
• 分割統合（DF）戦略によりクラスタリング品質が向上し、DFを適用しない場合と比較して平均ジャッカード係数が12.5%向上した。
• キーフレームの代表性に関して、ユーザー間の合意度が高く、85%以上のユーザーが「選択されたキーフレームがイベントを代表している」と回答した。
• 2つのキーフレーム選択手法（ランダムウォークおよび最小距離）は多くの場合、同じフレームを選択しており、フレーム選択の強力な一貫性を示している。
• 視覚的要約は、情報豊かで時間的整合性があると一貫して評価され、MCI患者の記憶支援用途に適していることが示された。