[論文レビュー] Going Beyond One-Hot Encoding in Classification: Can Human Uncertainty Improve Model Performance?

Christoph Koller, Göran Kauermann+1 more|arXiv (Cornell University)|May 30, 2022

Machine Learning and Data Classification被引用数 5

ひとこと要約

本論文では、1つのワンホットエンコーディングではなく、複数の専門家による投票から得られる分布的ラベルを用いることで、深層学習分類における人間の不確実性を組み込む手法を提案する。KLダイバージェンス損失を用いたラベル分布学習を適用することで、汎化性能（テスト交差エントロピーが10%低減）とキャリブレーション（期待キャリブレーション誤差がほぼ半減）が著しく向上し、明示的なラベル不確実性のモデリングが、リモートセンシング画像分類における性能と信頼性の両面を向上させることを示している。

ABSTRACT

Technological and computational advances continuously drive forward the broad field of deep learning. In recent years, the derivation of quantities describing theuncertainty in the prediction - which naturally accompanies the modeling process - has sparked general interest in the deep learning community. Often neglected in the machine learning setting is the human uncertainty that influences numerous labeling processes. As the core of this work, label uncertainty is explicitly embedded into the training process via distributional labels. We demonstrate the effectiveness of our approach on image classification with a remote sensing data set that contains multiple label votes by domain experts for each image: The incorporation of label uncertainty helps the model to generalize better to unseen data and increases model performance. Similar to existing calibration methods, the distributional labels lead to better-calibrated probabilities, which in turn yield more certain and trustworthy predictions.

研究の動機と目的

• ラベル付けにおける人間の不確実性を組み込むことで、深層学習モデルの性能とキャリブレーションが向上するかどうかを調査すること。
• 特にリモートセンシング分野において、専門家がアノテートしたデータセットにおけるラベルの曖昧さや不確実性という未だ十分に検討されていない問題に取り組むこと。
• 複数の専門家による投票から得られる分布的ラベルが、従来のワンホットエンコーディングに比べて分類タスクで優れているかどうかを評価すること。
• ラベル不確実性のモデリングが、よりキャリブレートされた信頼性の高い予測確率をもたらすことを実証すること。

提案手法

• 著者らは、1枚の衛星画像に対して10人の専門家による投票が与えられるSo2Sat LCZ42データセットを用い、人間の不確実性を表す経験的ラベル分布を構築する。
• これらのラベル分布を、従来のワンホットエンコーディングに代わるラベル分布学習フレームワークのターゲットとして用いる。
• 予測されたラベル分布と真のラベル分布の乖離を最小化するため、KLダイバージェンスを損失関数として用いたニューラルネットワーク分類器を訓練する。
• モデルのアーキテクチャとハイパーパrameterを維持することで、性能およびキャリブレーションに与えるラベル不確実性の影響を明確に分離する。
• キャリブレーションは期待キャリブレーション誤差（ECE）を用いて評価され、汎化性能は未学習データにおける交差エントロピー損失で測定される。
• 本手法は、不確実性モデリングを行わない標準ベースラインモデルおよび、温度スケーリングやラベルスムージングといった既成品のキャリブレーション技術と比較される。

実験結果

リサーチクエスチョン

• RQ1 ラベルにおける人間の不確実性をモデリングすることで、画像分類における深層学習モデルの汎化性能が向上するか？
• RQ2 専門家の投票から得られる分布的ラベルを組み込むことで、よりキャリブレートされた予測確率が得られるか？
• RQ3 同じリモートセンシングデータセット上で、分布的ラベルで訓練されたモデルの性能は、ワンホットエンコーディングで訓練されたモデルと比べてどうなるか？
• RQ4 ラベル不確実性モデリングにより、追加のハイパーパrameterチューニングを要せず、期待キャリブレーション誤差（ECE）を低減できるか？

主な発見

• 分布的ラベルで訓練されたモデルは、ワンホットベースラインと比較して、テスト交差エントロピー損失で平均10%の低減を達成し、汎化性能の向上を示している。
• 人間の不確実性を明示的にモデリングした場合、期待キャリブレーション誤差（ECE）はほぼ半減し、予測確率のキャリブレーションが著しく向上している。
• 追加のハイパーパrameterチューニングを要せず、不確実性を考慮したアプローチは、ラベルスムージングや温度スケーリングといった標準的なキャリブレーション技術を上回るキャリブレーション改善効果を示した。
• 専門家の投票から得られるラベル分布が、人間の不確実性を効果的に捉えており、モデルの信頼性を向上させることを示した。
• 固定されたモデルアーキテクチャのもとでも、ラベル不確実性の組み込みにより、予測精度と信頼性のキャリブレーションの両面で顕著な向上が得られた。