[論文レビュー] Multi-Object Classification and Unsupervised Scene Understanding Using Deep Learning Features and Latent Tree Probabilistic Models

Tejaswi Nimmagadda, Anima Anandkumar|arXiv (Cornell University)|May 2, 2015

Advanced Image and Video Retrieval Techniques参考文献 29被引用数 11

ひとこと要約

本論文は、事前学習済み ImageNet 特徴と条件付き潜在木モデル（CLTM）を統合する包括的な深層学習および確率的モデリングフレームワークを提案する。この手法により、多対象分類および教師なしシーン理解の性能が向上する。カーネル法を用いて階層的な対象共起構造を学習し、3層のニューラルネットワークでノード／エッジのポテンシャルを学習することで、ワイングラスのような困難な対象において最大171％のF-measure向上を達成。潜在ノードは教師なしで高次の意味的シーン構造を捉える。

ABSTRACT

Deep learning has shown state-of-art classification performance on datasets such as ImageNet, which contain a single object in each image. However, multi-object classification is far more challenging. We present a unified framework which leverages the strengths of multiple machine learning methods, viz deep learning, probabilistic models and kernel methods to obtain state-of-art performance on Microsoft COCO, consisting of non-iconic images. We incorporate contextual information in natural images through a conditional latent tree probabilistic model (CLTM), where the object co-occurrences are conditioned on the extracted fc7 features from pre-trained Imagenet CNN as input. We learn the CLTM tree structure using conditional pairwise probabilities for object co-occurrences, estimated through kernel methods, and we learn its node and edge potentials by training a new 3-layer neural network, which takes fc7 features as input. Object classification is carried out via inference on the learnt conditional tree model, and we obtain significant gain in precision-recall and F-measures on MS-COCO, especially for difficult object categories. Moreover, the latent variables in the CLTM capture scene information: the images with top activations for a latent node have common themes such as being a grasslands or a food scene, and on on. In addition, we show that a simple k-means clustering of the inferred latent nodes alone significantly improves scene classification performance on the MIT-Indoor dataset, without the need for any retraining, and without using scene labels during training. Thus, we present a unified framework for multi-object classification and unsupervised scene understanding.

研究の動機と目的

• 対象が互いに排他的でない複雑な共起パターンを示す自然画像における多対象分類の課題に対処すること。
• 対象カテゴリ間の文脈的関係を無視する独立したバイナリまたはマルチクラス分類器の限界を克服すること。
• トレーニング時にシーンラベルを用いずに、高次の意味的シーン構造を捉える潜在変数を学習することで、教師なしシーン理解を可能にすること。
• 構造的な確率的モデルによる文脈的依存関係の組み込みにより、レアまたは検出が難しい対象の分類性能を向上させること。
• 深層学習特徴、カーネルベースの構造学習、ニューラルネットワークによるポテンシャル推定を統合したスケーラブルでエンドツーエンドのフレームワークを構築すること。

提案手法

• 事前学習済み ImageNet CNN から抽出した fc7 特徴を入力文脈として、潜在木確率的モデル（CLTM）を条件づける。
• カーネル条件付き埋め込みを用いて、対象共起の対ごとの条件付き確率を推定し、階層的木構造の根拠とする。
• 同じ fc7 特徴上で訓練された新しい3層の順方向ニューラルネットワークにより、CLTMのノードおよびエッジのポテンシャルを学習する。
• 学習済み CLTM におけるMAP推論を実行し、構造的予測を活用することでラベルの一貫性を向上させ、多対象分類を実現する。
• トレーニング時にシーンラベルを一切使用せず、推論された潜在ノード活性化値にk-meansクラスタリングを適用し、MIT-Indoorデータセットにおける教師なしシーン分類を実行する。
• 固定されたトポロジーまたは潜在変数の数を課さず、柔軟でデータ駆動型の木構造を回復可能にすることで、対象カテゴリの適応的グルーピングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 MS-COCOのような非アイコン的で複雑な画像において、深層特徴に条件づけられた条件付き潜在木モデル（CLTM）は、多対象分類性能を向上させることができるか？
• RQ2 シーンラベルやシーンレベルのアノテーションが存在しない状況でも、CLTM内の潜在変数は意味的シーンレベルの情報をどれほど効果的に捉えることができるか？
• RQ3 共起モデリングによる文脈的依存関係の組み込みは、特に希少または検出が困難な対象カテゴリにおいて、F-measureにどの程度の向上効果をもたらすか？
• RQ4 CLTMの潜在活性化値は、直接的に教師なしシーン分類に使用可能か？また、オブジェクトレベルの予測のみを使用する場合と比較して性能はどの程度か？
• RQ5 構造学習にカーネル法を統合し、ポテンシャル推定にニューラルネットワークを用いることで、大規模なマルチラベル認識にスケーラブルかつ汎用的なフレームワークが構築可能か？

主な発見

• CLTMフレームワークは、MS-COCOデータセットにおいて、3層の独立したニューラルネットワーク分類器と比較して、F-measureが7パーセンテージポイント向上した。
• ワイングラスのような困難な対象カテゴリでは、F-measureの向上が171％に達し、希少または認識が難しい対象の検出性能が顕著に向上した。
• 屋内対象において特に高い向上効果を示し、ボウルやカップではF-measureが50–56％向上、ラップトップでは27％向上した。
• CLTMの潜在ノードは意味的シーンテーマを効果的に捉えていた。例えば、ノード h9 は森、h12 はダイニングテーブル、h4 はキッチン、h21 はリビングルームに対応した。
• 潜在ノードの周辺確率に基づくクラスタリングは、MIT-Indoorデータセット（k=6）で誤分類率0.238を達成し、オブジェクトレベルの予測や観測済み＋隠れ特徴を組み合わせたクラスタリングを上回った。
• 本モデルは、トレーニング時にシーンラベルを一切必要とせず、オブジェクトレベル特徴と潜在構造のみで教師なしシーン理解が可能であることを示した。