[論文レビュー] Energy Models for Better Pseudo-Labels: Improving Semi-Supervised Classification with the 1-Laplacian Graph Energy

Angelica I. Avilés-Rivero, Nicolas Papadakis+5 more|arXiv (Cornell University)|Jun 20, 2019

Domain Adaptation and Few-Shot Learning参考文献 48被引用数 13

ひとこと要約

本稿では、正規化されたグラフ1-ラプラシアンに基づく非滑らかさを持つℓ₁-ノルムエネルギーモデルを用いて、より信頼性の高い偽ラベルを生成する、新しいハイブリッド半教師あり学習フレームワークであるCREPEを提案する。理論的解析による収束性の検証と、自然画像および医療画像ベンチマークにおける優れた性能を示し、明示的な不確実性制御を通じて偽ラベル品質を向上させることで、最先端の結果を達成した。

ABSTRACT

Semi-supervised classification is a great focus of interest, as in real-world scenarios obtaining labels is expensive, time-consuming and might require expert knowledge. This has motivated the fast development of semi-supervised techniques, whose performance is on a par with or better than supervised approaches. A current major challenge for semi-supervised techniques is how to better handle the network calibration and confirmation bias problems for improving performance. In this work, we argue that energy models are an effective alternative to such problems. With this motivation in mind, we propose a hybrid framework for semi-supervised classification called CREPE model (1-Lapla$\\mathbf{C}$ian g$\\mathbf{R}$aph $\\mathbf{E}$nergy for $\\mathbf{P}$seudo-lab$\\mathbf{E}$ls). Firstly, we introduce a new energy model based on the non-smooth $\\ell_1$ norm of the normalised graph 1-Laplacian. Our functional enforces a sufficiently smooth solution and strengthens the intrinsic relation between the labelled and unlabelled data. Secondly, we provide a theoretical analysis for our proposed scheme and show that the solution trajectory does converge to a non-constant steady point. Thirdly, we derive the connection of our energy model for pseudo-labelling. We show that our energy model produces more meaningful pseudo-labels than the ones generated directly by a deep network. We extensively evaluate our framework, through numerical and visual experiments, using six benchmarking datasets for natural and medical images. We demonstrate that our technique reports state-of-the-art results for semi-supervised classification.

研究の動機と目的

• 偽ラベル付けにおけるネットワークキャリブレーションと確認バイアスの問題を扱う現在の半教師あり学習手法の限界を是正すること。
• 深層ネットワーク出力の直接的なものよりも、偽ラベルの品質を向上させるより頑健なエネルギー関数を構築すること。
• 深層学習と原理的なエネルギー最小化を統合した理論的根拠に基づくハイブリッドモデルを提供し、一般化性能を向上させること。
• 複雑な医療画像を含む多様なデータセット上で提案フレームワークを評価し、一般化能力を実証すること。

提案手法

• 正規化されたグラフ1-ラプラシアンのℓ₁ノルムに基づく新しいエネルギーモデルを導入し、ラベル付きデータとラベルなしデータの間の関係を強化し、滑らかさを確保する。
• エネルギーモデルの解軌道が非定数の定常状態に収束することを理論的に証明する収束解析を導出する。
• エネルギーモデルと偽ラベル付けの間の理論的関連性を確立し、直接的なネットワーク予測よりも意味のある偽ラベルを生成することを示す。
• 深層ニューラルネットワークの予測を改善するために、エネルギーモデルを用いて予測を精錬するハイブリッドフレームワークを採用し、ラベルの信頼性と不確実性推定を向上させる。
• エネルギー関数における内在的データ構造モデリングを強化するために、的確に選択されたクラス事前分布を活用する。
• ChestX-ray14およびCBIS-DDSMを含む6つのベンチマークデータセットにこのフレームワークを適用し、自然画像および医療画像における性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 非滑らかさを持つℓ₁-ノルムに基づくグラフエネルギーモデルは、半教師あり学習における偽ラベルの信頼性を向上させることができるか？
• RQ2 提案されたエネルギーモデルは、既存のエネルギーベースの手法と比較して、より優れた収束性と安定性を示すか？
• RQ3 理論的根拠に基づくエネルギーモデルの統合は、直接的な深層ネットワーク出力と比較して、偽ラベル品質をどのように向上させるか？
• RQ4 提案されたフレームワークは、複雑な医療画像を含む多様なデータ分布にどの程度一般化可能か？

主な発見

• 提案されたCREPEフレームワークは、自然画像および医療画像を含む6つのベンチマークデータセットにおいて、半教師あり画像分類で最先端の性能を達成した。
• ChestX-ray14およびCBIS-DDSMの医療データセットにおいて、全ラベル率でベースラインのLGC手法と比較してAUCが10%から16%向上した。
• エネルギーモデルの解軌道が非定数の定常状態に収束することを確認し、理論的安定性と頑健性を裏付けた。
• 直接的な深層ネットワーク出力に依存する手法とは異なり、予測不確実性を明示的に制御することで、偽ラベルの品質が顕著に向上した。
• 古くからのエネルギーモデルを用いる既存のハイブリッド手法よりも優れた性能を示し、半教師あり分類分野で新たなSOTAを確立した。
• 複雑な医療画像データへも良好に一般化されることを示し、自然画像領域を超えた頑健性と応用可能性を強調した。