[論文レビュー] Object-Level Context Modeling For Scene Classification with Context-CNN

Syed Ashar Javed, Anil Nelakanti|arXiv (Cornell University)|May 11, 2017

Multimodal Machine Learning Applications参考文献 49被引用数 3

ひとこと要約

本稿では、オブジェクト提案とLSTMユニットを用いてオブジェクトレベルの文脈をモデル化することで、シーン分類を向上させる深層学習モデルであるContext-CNNを提案する。オブジェクト同士およびオブジェクトとシーンの関係をエンドツーエンドで統合することで、LSUN検証セットで89.03%の精度を達成し、最小限のデータとオブジェクトアノテーションを必要としない効果的な文脈モデリングを実現した。

ABSTRACT

Convolutional Neural Networks (CNNs) have been used extensively for computer vision tasks and produce rich feature representation for objects or parts of an image. But reasoning about scenes requires integration between the low-level feature representations and the high-level semantic information. We propose a deep network architecture which models the semantic context of scenes by capturing object-level information. We use Long Short Term Memory(LSTM) units in conjunction with object proposals to incorporate object-object relationship and object-scene relationship in an end-to-end trainable manner. We evaluate our model on the LSUN dataset and achieve results comparable to the state-of-art. We further show visualization of the learned features and analyze the model with experiments to verify our model's ability to model context.

研究の動機と目的

• オブジェクト間の高レベルな文脈的関係をモデル化することで、シーン分類における意味的ギャップを解消すること。
• 従来のCNNでは複雑なオブジェクト間相互作用やシーンレベルの意味を捉えきれないことへの改善を図ること。
• オブジェクトレベルのアノテーションを必要とせず、マルチオブジェクト関係をモデル化できるエンドツーエンドで学習可能なアーキテクチャの開発。
• LSTMを用いた文脈モデリングの有効性が、シーン分類の精度向上に寄与するかの検証。
• 可視化と遮蔽実験を通じて、モデルの特徴表現と頑健性の分析。

提案手法

• モデルは、特徴マップからオブジェクト候補を抽出するために領域提案ネットワーク（RPN）を用いる。
• 各オブジェクト候補は、事前学習済みのCNNから固定サイズの深層特徴を抽出するためのRoIプーリング層を通過する。
• オブジェクト特徴は順次LSTMネットワークに供給され、各タイムステップで現在のオブジェクトと過去の文脈に基づいて隠れ状態が更新される。
• 最終的なLSTM隠れ状態は、全結合層とソフトマックスを介して、シーン分類のためのグローバル画像表現として使用される。
• 全ネットワークは、交差エントロピー損失と確率的勾配降下法を用いてエンドツーエンドで学習される。
• オブジェクトの重要性は遮蔽実験により評価され、バウンディングボックスをマスクした際のソフトマックス信頼度の低下が測定される。

実験結果

リサーチクエスチョン

• RQ1 LSTMを用いてオブジェクトレベルの文脈をモデル化することで、標準的なCNNを上回るシーン分類性能が達成可能か？
• RQ2 LSTMによるオブジェクト候補の逐次処理が、オブジェクト間の意味的関係を捉える能力を向上させるか？
• RQ3 オブジェクト入力の順序が最終的な分類スコアに与える影響は何か？また、どのオブジェクトがシーンカテゴリの識別に最も寄与しているか？
• RQ4 モデルが正確なシーン予測に、特定のオブジェクトや空間的配置にどれほど依存しているか？
• RQ5 オブジェクトレベルのアノテーションを必要とせず、最先端の性能を達成できるか？

主な発見

• Context-CNNモデルはLSUN検証セットでトップ-1精度89.03%を達成し、このベンチマークで上位に位置するモデルの一つである。
• 1000万枚のLSUNデータセットから20万枚の画像のみで学習が収束しており、高いデータ効率性を示している。
• 最初のLSTM入力（オブジェクトネススコアが最も高いもの）を遮蔽すると、精度が最も大きく低下する—遮蔽時、63.3%の精度低下を示し、分類に果たす重要性が顕著に示された。
• 外観やポーズが変化しても、特徴的なオブジェクト（例：寝室ではベッド、リビングルームではソファ）に基づいてシーンを効果的に区別できることが学習された。
• 可視化結果から、LSTM特徴はタイムステップを経るごとに徐々に判別力が高くなることが確認され、文脈表現を構築できる能力が裏付けられた。
• 制御実験により、LSTM部が不可欠であることが確認され、これを除去すると性能が著しく低下した。