[論文レビュー] Learning Visual Storylines with Skipping Recurrent Neural Networks

Gunnar A. Sigurdsson, Xinlei Chen+1 more|arXiv (Cornell University)|Apr 14, 2016

Advanced Image and Video Retrieval Techniques参考文献 42被引用数 10

ひとこと要約

本論文では、不要な連続的画像遷移を飛ばすことで、Webフォトアルバムから長期的なビジュアルストーリーを学習するためのスキップリカレントニューラルネットワーク（S-RNN）を提案する。顕著で時間的に整合性のある画像サブセットに注目することで、S-RNNはLSTMやRNNを上回り、潜在的なストーリー構造の学習を改善し、70%の人の好みを獲得する画像予測およびフォトアルバム要約を実現する。

ABSTRACT

What does a typical visit to Paris look like? Do people first take photos of the Louvre and then the Eiffel Tower? Can we visually model a temporal event like "Paris Vacation" using current frameworks? In this paper, we explore how we can automatically learn the temporal aspects, or storylines of visual concepts from web data. Previous attempts focus on consecutive image-to-image transitions and are unsuccessful at recovering the long-term underlying story. Our novel Skipping Recurrent Neural Network (S-RNN) model does not attempt to predict each and every data point in the sequence, like classic RNNs. Rather, S-RNN uses a framework that skips through the images in the photo stream to explore the space of all ordered subsets of the albums via an efficient sampling procedure. This approach reduces the negative impact of strong short-term correlations, and recovers the latent story more accurately. We show how our learned storylines can be used to analyze, predict, and summarize photo albums from Flickr. Our experimental results provide strong qualitative and quantitative evidence that S-RNN is significantly better than other candidate methods such as LSTMs on learning long-term correlations and recovering latent storylines. Moreover, we show how storylines can help machines better understand and summarize photo streams by inferring a brief personalized story of each individual album.

研究の動機と目的

• Webフォトデータからパリやウェディングなどの概念の長期的ビジュアルストーリーをモデル化すること。
• フォトストリームにおける強い短期的相関性のため、RNNが長期依存関係を捉えきれないという限界に対処すること。
• グローバルなストーリーパattersを学びながら、個別化されたアルバムストーリーを推論する非教師あり手法を開発すること。
• 学習されたストーリー構造を活用して、画像予測およびフォトアルバム要約を改善すること。
• 時間的順序付けとスキップメカニズムが、標準的なRNNやLSTMに比べてモデル性能を向上させるかどうかを評価すること。

提案手法

• S-RNNは、フォトストリーム内の画像を冗長な連続的遷移を避けるために注意に基づくサンプリング機構を用いてスキップする。
• モデルは、時間的に整合性があり多様な画像サブセットを選択することを促進する損失関数を最適化することで、グローバルなストーリーを学ぶ。
• 視覚的表現にはCNN特徴量を活用し、選択された画像サブセット間の時間的ダイナミクスをモデル化するための再帰的アーキテクチャを適用する。
• フレームワークはFlickrフォトアルバム上で非教師ありで訓練され、時間スタンプ付きメタデータを用いて時間的順序付けをガイドする。
• 2段階のプロセスを用いる：まず、各概念ごとにグローバルなストーリーを学習し、次にそのグローバルモデルを用いて個別アルバムのパーソナライズドストーリーを推論する。
• 後処理により、選択された画像を一貫性のある物語的順序に再編集し、要約および予測タスクに活用する。

実験結果

リサーチクエスチョン

• RQ1 連続的画像予測に依存せずに、Webフォトアルバムから意味のある長期的ビジュアルストーリーを学習できるか？
• RQ2 情報のない遷移をスキップすることで、フォトストリーム内の潜在的な時間的構造の学習がどのように向上するか？
• RQ3 S-RNNは、標準的なRNNやLSTMに比べて、視覚的シーケンスにおける長期的相関関係のモデル化でどの程度優れているか？
• RQ4 学習されたストーリー構造は、画像予測およびフォトアルバム要約タスクを改善できるか？
• RQ5 時間スタンプ付きメタデータを組み込むことで、生成された要約の質が顕著に向上するか？

主な発見

• S-RNNは要約品質の比較において70%の人の好みを獲得し、すべてのベースライン（人間が作成した要約も含む、59.5%の割合で好まれた）を上回った。
• 特にパリやロンドンといった旅行関連の概念において、S-RNNはLSTMやRNNよりも長期的ストーリー構造の学習で顕著に優れていた。
• 時間情報を用いて訓練したS-RNNは、シャッフルされたデータで訓練した同じモデルと比較して68.4%の好まれ方を示し、時間情報が要約品質の向上に寄与することを実証した。
• モデルの性能はランドマークベースの概念（例：パリ、ロンドン）において特に優れており、順序付き観光パターンを効果的に捉えていた。
• シンプルなベースライン（LocalやSample）は、時間的再順序付けを組み合わせると競争力を持つが、ノイズの多いアルバムでは失敗しており、S-RNNのロバストネスを示している。
• ウェディングからスキューバダイビングやパリへのストーリー知識を転移させた場合、意味的に関連する要約が得られ、一般化能力を示した。