[論文レビュー] A Comparative Study of Deep Learning Loss Functions for Multi-Label Remote Sensing Image Classification

Hichame Yessou, Gencer Sumbül+1 more|arXiv (Cornell University)|Sep 29, 2020

Remote-Sensing Image Classification参考文献 17被引用数 48

ひとこと要約

本論文は、マルチラベルリモートセンシング画像分類の文脈において、交差エントロピー、ファーコス損失、重み付き交差エントロピー、ハミング損失、ハーバー損失、ランク損失、sparseMax損失の7つのディープラーニング損失関数を包括的に比較分析する。BigEarthNet-19ベンチマークを用いて、正確性、クラス不均衡への対処、凸性／微分可能性、および学習効率の観点からその性能を評価し、sparseMax損失が最高のF1スコア（69.9％）を達成し、バランスの取れた高精度分類に最も効果的であると結論づけた。一方、ファーコス損失および重み付き交差エントロピーは、クラス不均衡データセットに対して優れた性能を示した。

ABSTRACT

This paper analyzes and compares different deep learning loss functions in the framework of multi-label remote sensing (RS) image scene classification problems. We consider seven loss functions: 1) cross-entropy loss; 2) focal loss; 3) weighted cross-entropy loss; 4) Hamming loss; 5) Huber loss; 6) ranking loss; and 7) sparseMax loss. All the considered loss functions are analyzed for the first time in RS. After a theoretical analysis, an experimental analysis is carried out to compare the considered loss functions in terms of their: 1) overall accuracy; 2) class imbalance awareness (for which the number of samples associated to each class significantly varies); 3) convexibility and differentiability; and 4) learning efficiency (i.e., convergence speed). On the basis of our analysis, some guidelines are derived for a proper selection of a loss function in multi-label RS scene classification problems.

研究の動機と目的

• マルチラベルリモートセンシング（RS）画像分類の文脈において、7つのディープラーニング損失関数を分析・比較すること。
• これらの損失関数の全体的な正確性、クラス不均衡への対応、凸性および微分可能性、学習効率の観点からの性能を評価すること。
• クラス不均衡、学習速度、モデルの信頼性といった特定の応用要件に基づいて、最も適した損失関数を選択するための実用的ガイドラインを提供すること。
• 標準的なCNNアーキテクチャを用いて、BigEarthNet-19ベンチマークデータセットを用いて理論的知見を実験的に検証すること。

提案手法

• 本研究では、交差エントロピー（CEL）、ファーコス損失（FL）、重み付き交差エントロピー（W-CEL）、ハミング損失（HAL）、ハーバー損失（HL）、ランク損失（RL）、sparseMax損失（SML）の7つの損失関数を評価した。
• 各損失関数について、凸性、微分可能性、およびクラス不均衡への感受性について理論的分析を行った。
• BigEarthNet-19データセットを用い、最終全結合層に1024ユニットを有する標準的なCNNを用い、RMSpropを最適化手法とし、初期学習率を10⁻⁴として80エポック分訓練した。
• 性能は、精度、再現率、F1スコアで測定した。また、解釈可能性およびモデルの注目領域の可視化のため、LRP（レイヤーごとの関連性伝播）を用いてヒートマップを生成した。
• 全体的な正確性、クラス不均衡への対応、凸性および微分可能性、学習効率（収束速度）の4つの基準に基づき、損失関数を比較した。
• 理論的分析と実験的分析を統合し、マルチラベルRS分類における損失関数選択のガイドラインを導出した。

実験結果

リサーチクエスチョン

• RQ1 マルチラベルリモートセンシング画像分類において、どのディープラーニング損失関数が最高の全体的分類正確性を達成するか？
• RQ2 異なる損失関数は、リモートセンシングデータセットに一般的に見られるクラス不均衡なトレーニングセットに対して、どのように性能を発揮するか？
• RQ3 凸性および微分可能性を有する損失関数はどれか？ また、これにより学習の安定性および収束にどのような影響を与えるか？
• RQ4 各損失関数の学習効率（収束速度）は、トレーニング中にどのように比較されるか？
• RQ5 LRPを用いて生成された注目マップ（ヒートマップ）は、異なる損失関数における予測の信頼性および解釈可能性をどのように反映しているか？

主な発見

• sparseMax損失（SML）は、69.9％という最高のF1スコアを達成し、他のすべての損失関数よりも全体的な分類正確性が優れていた。
• ファーコス損失（FL）および重み付き交差エントロピー損失（W-CEL）は、クラス不均衡への対処において優れた性能を示した。FLはハードネガティブ例に焦点を当て、W-CELは未代表的クラスに高い重みを割り当てた。
• ハーバー損失（HL）およびランク損失（RL）は、それぞれ高い精度および再現率を示したが、性能のトレードオフのためF1スコアは低く、バランスの取れていない結果であった。
• SMLおよびRL損失関数は、他の手法と比較して最も速い収束を示し、トレーニングの初期段階でより高いF1スコアを達成した。
• 凸性および微分可能性を有する損失関数（SML、W-CEL、FLなど）は、より信頼性が高く解釈可能なLRPヒートマップを生成したのに対し、HALおよびRLは不規則で信頼性の低い注目パターンを示した。
• 理論的および実験的分析により、SMLが正確性、解釈可能性、学習効率の観点で最良のトレードオフを提供することが確認され、高精度なマルチラベルRS分類に最も適していると結論づけた。