[論文レビュー] Centroid Based Concept Learning for RGB-D Indoor Scene Classification

Ali Ayub, Alan R. Wagner|arXiv (Cornell University)|Nov 1, 2019

Advanced Image and Video Retrieval Techniques参考文献 38被引用数 13

ひとこと要約

本稿では、RGB-D特徴からシーン固有の重心を生成するAgg-Varクラスタリングを用いた、認知的にインspiredなRGB-DインDoorシーン分類手法であるCentroid-Based Concept Learning（CBCL）を提案する。テスト画像を最も近い重心までの距離に基づいて分類することで、概念的に類似したカテゴリを統合した後、SUN RGB-D（66.2%）およびNYU Depth V2（78.95%）で最先端の精度を達成した。これは最大6.7%の性能向上をもたらした。

ABSTRACT

This paper contributes a novel cognitively-inspired method for RGB-D indoor scene classification. High intra-class variance and low inter-class variance make indoor scene classification an extremely challenging task. To cope with this problem, we propose a clustering approach inspired by the concept learning model of the hippocampus and the neocortex, to generate clusters and centroids for different scene categories. Test images depicting different scenes are classified by using their distance to the closest centroids (concepts). Modeling of RGB-D scenes as centroids not only leads to state-of-the-art classification performance on benchmark datasets (SUN RGB-D and NYU Depth V2), but also offers a method for inspecting and interpreting the space of centroids. Inspection of the centroids generated by our approach on RGB-D datasets leads us to propose a method for merging conceptually similar categories, resulting in improved accuracy for all approaches.

研究の動機と目的

• インドアシーン分類における高いクラス内分散と低いクラス間分散の課題に対処する。
• 海馬および新皮質の概念学習を模倣する認知的にインspiredな手法を開発し、シーン理解を向上させる。
• クラスタ構造の分析と概念的に類似したカテゴリの同定を通じて、モデルの解釈可能性と自己評価を可能にする。
• 外部の教師信号に依存せずに、意味的に類似したシーンカテゴリのデータ駆動型統合により分類精度を向上させる。
• 最小限の学習時間と高い汎化可能性を備えた、軽量で高速なディープラーニングモデルの代替手段を提供する。

提案手法

• RGB-D特徴マップにAgg-Varクラスタリングを適用し、異なるレイアウトや構成を表すシーン固有の重心を生成する。
• テスト画像を、最も近い重心までのL2距離を計算することで分類し、最も近い概念を予測に使用する。
• シルエットスコアを用いて内部クラスタの一貫性を評価し、自身のクラスターよりも他のクラスターの重心に近い画像を特定する。
• 概念的に類似したシーンカテゴリ（例：classroom と lecture_theatre）を、シルエットスコア ≤ 0 の割合が高いことから同定・統合する。
• 視覚的および構造的に類似したカテゴリを再帰的に統合することで、全体の分類精度を向上させる。
• 本手法をSUN RGB-DおよびNYU Depth V2の両データセットに適用し、カテゴリ統合後の再評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 重心表現に基づく認知的にインspiredなクラスタリング手法は、既存の手法を上回る性能を発揮できるか？
• RQ2 シルエットスコアのような内部クラスタ評価指標は、概念的に類似したシーンカテゴリの同定にどの程度有効か？
• RQ3 クラスタ構造に基づいて概念的に類似したカテゴリを統合することで、分類精度に顕著な向上が得られるか？
• RQ4 本手法は、インクリメンタルラーニングや概念一般化などの他のビジョンタスクにも応用可能か？
• RQ5 カテゴリ統合による性能向上は、クラス数の削減に起因するのか、それともラベルの概念的整合性の向上に起因するのか？

主な発見

• CBCLは、4組の概念的に類似したカテゴリペアを統合した後、SUN RGB-Dデータセットで66.2%の平均クラス精度を達成し、最先端の性能を記録した。
• 6.7%の精度向上は、ランダムにカテゴリを統合した場合の0.4%の上昇と比較して顕著に高く、これは意味的な概念的統合に起因することを示している。
• NYU Depth V2データセットでは、カテゴリ統合後、78.95%の平均クラス精度を達成し、元のデータセット比で8.04%の向上を記録した。
• VGGベースラインも統合済みSUN RGB-Dデータセットで5.4%向上（55.2%）を達成したが、依然としてCBCLから11%の差を示し、CBCLの優れた性能を裏付けた。
• 本手法は自己教師付きのモデル点検を可能にし、一部のカテゴリでは最大25%のトレーニング画像がシルエットスコア ≤ 0 を示しており、クラスタ割り当ての不備を示している。
• カテゴリ統合プロセスはデータ駆動的かつ解釈可能であり、誤ったまたは一貫性のないデータセットラベルの是正に役立つメカニズムを提供する。