[論文レビュー] Deep Learning for Scene Classification: A Survey

Delu Zeng, Minyu Liao+6 more|arXiv (Cornell University)|Jan 26, 2021

Advanced Image and Video Retrieval Techniques参考文献 261被引用数 21

ひとこと要約

本サーベイは、200篇以上の主要な出版物をカバーする、シーン分類におけるディープラーニングの進展について包括的な概要を提供する。畳み込みニューラルネットワーク（CNN）ベースの手法、シーン表現戦略、RGB-D統合技術、パフォーマンスベンチマークを詳細に記載し、2012年のディープラーニングの台頭以降、Places365 や SUN397 といった大規模データセットにおける顕著な正確性の向上を強調している。

ABSTRACT

Scene classification, aiming at classifying a scene image to one of the predefined scene categories by comprehending the entire image, is a longstanding, fundamental and challenging problem in computer vision. The rise of large-scale datasets, which constitute the corresponding dense sampling of diverse real-world scenes, and the renaissance of deep learning techniques, which learn powerful feature representations directly from big raw data, have been bringing remarkable progress in the field of scene representation and classification. To help researchers master needed advances in this field, the goal of this paper is to provide a comprehensive survey of recent achievements in scene classification using deep learning. More than 200 major publications are included in this survey covering different aspects of scene classification, including challenges, benchmark datasets, taxonomy, and quantitative performance comparisons of the reviewed methods. In retrospect of what has been achieved so far, this paper is also concluded with a list of promising research opportunities.

研究の動機と目的

• シーン分類におけるディープラーニング技術の体系的かつ最新のレビューを提供し、手作業特徴抽出からエンドツーエンド学習への進化を扱う。
• シーン分類分野における200件以上の主要な研究を分析・分類し、撮影条件に起因するセマンティックの曖昧性やクラス内変動の大きな変動といった課題に焦点を当てる。
• 異なるディープラーニングアーキテクチャおよび戦略（事前学習、微調整、特定のCNNモデルなど）のパフォーマンスを評価・比較する。
• RGB-Dシーン分類やマルチモーダル統合といった新たなトレンドを調査し、分野における未解決の研究課題を特定する。

提案手法

• シーン分類のディープラーニング手法を、主に事前学習済みCNN、微調整済みCNN、特定のCNNの3つの主要フレームワークに分類し、それぞれが異なるアーキテクチャと学習戦略を持つことを明記する。
• シーン表現技術を5種類に分類する：グローバルCNN特徴、空間不変特徴、セマンティック特徴、多層特徴、マルチビュー特徴。
• シーン表現の向上に向けた主な戦略をレビューする。これには、符号化（例：セマンティックFV、FCV）、アテンション機構（チャネルおよび空間アテンション）、文脈モデリング（例：LSTM、グラフネットワーク）、正則化（スパarsity、構造的、教師あり）が含まれる。
• 深度特徴学習とマルチモーダル統合戦略（例：特徴レベル統合、一貫性のある特徴統合、特徴の特徴的差異に基づく統合）を活用するRGB-Dシーン分類手法を分析する。
• 図2に示す分類体系（タクソノミー）を用いて、アーキテクチャ、表現タイプ、戦略ごとに手法を整理し、アプローチ間の構造的比較を可能にする。
• CNNの演算を数学的に定式化し、3次元畳み込み（式1）、ReLU活性化（式2）、Softmax交差エントロピー損失（式3〜5）を用いて学習プロセスを形式化する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデル、特にCNNは、従来の手作業特徴抽出手法と比較して、どのようにシーン分類のパフォーマンスを変化させたか？
• RQ2 シーン分類で最先端のパフォーマンスを達成するために、どのようなアーキテクチャ的および表現戦略的工夫がなされたか？
• RQ3 グローバル、空間不変、セマンティック、多層、マルチビューの各シーン表現技術は、正確性と頑健性の観点からどのように比較されるか？
• RQ4 アテンション機構、文脈モデリング、正則化は、シーン表現および分類正確性の向上にどのように寄与しているか？
• RQ5 RGB-D統合手法はどのようにシーン分類を向上させ、マルチモーダルデータに対して最も効果的な統合戦略は何か？

主な発見

• ディープラーニングベースの手法は、Places365 や SUN397 といったベンチマークデータセットで顕著なパフォーマンス向上を達成しており、手作業特徴（例：Dense-SIFT）を用いた場合のトップ1正確性約50％から、ディープCNNを用いる場合に80％以上に向上した。
• ImageNetでの事前学習を活用することで、多様なシーンカテゴリに一般化できる能力を有するため、事前学習済みCNN（例：Places-CNN、ResNetベースのモデル）が主流となった。
• チャネルアテンションおよび空間アテンションを含むアテンション機構は、特徴の識別性を向上させ、MFAFVNet や VSAD といった手法が、困難なシーンカテゴリで明確な正確性の向上を示した。
• マルチビューおよびマルチスケールCNN（例：スケール特化CNN、LS-DHM）は、空間的およびスケール的変動を捉えることができ、複雑なレイアウトを有するシーンで単一ビューのモデルを上回る性能を発揮した。
• 特に一貫性のある特徴および特徴の特徴的差異に基づく統合戦略を採用したRGB-D統合戦略は、深度に敏感なデータセットでパフォーマンスを向上させ、NYUv2 や ScanNet では一部のモデルがトップ1正確性90％以上を達成した。
• ドロップアウト、バッチ正則化、マルチスケールデータオーグメンテーションといった正則化技術は、深層シーン分類モデルにおける過学習の低減と一般化性能の向上に不可欠であった。