[論文レビュー] When Labelled Data Hurts: Deep Semi-Supervised Classification with the Graph 1-Laplacian

Angelica I. Avilés-Rivero, Nicolas Papadakis+4 more|arXiv (Cornell University)|Jun 20, 2019

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、限られたラベル付きデータで性能を向上させるために、正規化されたグラフ1ラプラシアンの滑らかでないℓ₁ノルムを用いた、深層半教師あり分類フレームワークの新規提案を行う。ラベル付きデータのスムーズ性を強制し、クラス事前分布を介して内在的なデータ関係を活用することで、CIFAR-10、CIFAR-100、ChestX-Ray14で最先端の結果を達成し、古典的手法を上回り、深層学習ベースラインと同等の性能を発揮した。

ABSTRACT

We consider the task of classifying when a significantly reduced amount of labelled data is available. This problem is of a great interest, in several real-world problems, as obtaining large amounts of labelled data is expensive and time consuming. We present a novel semi-supervised framework for multi-class classification that is based on the non-smooth $\ell_1$ norm of the normalised graph 1-Laplacian. Our transductive framework is framed under a novel functional with carefully selected class priors - that enforces a sufficiently smooth solution and strengthens the intrinsic relation between the labelled and unlabelled data. We provide theoretical results of our new optimisation model and show its connections with deep learning for handling large-scale datasets. We demonstrate through extensive experimental results on large datasets - CIFAR-10, CIFAR-100 and ChestX-Ray14 - that our method outperforms classic methods and readily competes with recent deep-learning approaches.

研究の動機と目的

• ラベル付きデータが限られている現実の分類タスクにおける課題に対処する。ここでは、データのラベル付けが高コストかつ時間のかかる作業である。
• ラベル付きデータとラベルなしデータの両方を効果的に活用するトランスダクティブな半教師ありフレームワークを開発し、分類性能を向上させる。
• ラベル付きデータとラベルなしデータの間の内在的関係を強化する、クラス事前分布を組み込んだ新規な関数を導入する。
• 正規化されたグラフ1ラプラシアンの滑らかでないℓ₁ノルムを用いて解のスムーズ性を強制することで、一般化性能を向上させる。
• 深層学習モデルと同等の性能を、極めて少ないラベル付きデータを用いて大規模データセットで示す。

提案手法

• ラベル付きデータのスパarsityとロバストネスを促進するため、ℓ₁ノルムを用いた正規化されたグラフ1ラプラシアンに基づく新しい最適化モデルを構築する。
• データの構造的整合性を高めるために、関数にクラス事前分布を組み込む。
• グラフ1ラプラシアンのℓ₁ノルムを最小化することで解のスムーズ性を強制し、従来のℓ₂ベースの手法よりも局所的なデータジオメトリをより良く保持する。
• ラベル付きデータとラベルなしデータの共同構造に基づいて、ラベルなしサンプルのラベル予測を行うトランスダクティブフレームワークを設計する。
• 提案モデルと深層学習アーキテクチャとの間の理論的関連性を確立し、大規模データセットへのスケーラビリティを支援する。
• 収束性と高次元設定における安定性を保証する新しいアルゴリズム的手法を用いて関数を最適化する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータが限られている状況で、滑らかでないℓ₁ベースのグラフ正則化子が半教師あり分類性能を向上させられるか？
• RQ2 グラフ1ラプラシアンフレームワークにクラス事前分布を組み込むことで、ラベル付きデータとラベルなしデータの関係性はどのように強化されるか？
• RQ3 提案手法は、ベンチマークデータセットにおいて、古典的手法をどの程度上回るか？
• RQ4 極めて少ないラベル付きデータを用いても、提案フレームワークは深層学習モデルと同等の性能を達成できるか？
• RQ5 提案モデルと深層学習アーキテクチャとの間には、大規模データ処理において理論的・実験的にどのような関連性があるか？

主な発見

• 提案手法は、ラベル付きデータを大幅に削減した状況下でもCIFAR-10およびCIFAR-100で最先端の性能を達成し、古典的手法を上回った。
• ChestX-Ray14データセットでは、優れた一般化性能とロバストネスを示し、深層学習ベースラインと同等の結果を達成した。
• グラフ1ラプラシアンにおけるℓ₁ノルムの使用は、ℓ₂ベースの代替手法と比較して、よりスパースかつロバストなラベル伝搬を実現した。
• クラス事前分布の統合により、データの内在的構造が強化され、ラベルなしサンプル間での予測の一貫性が向上した。
• 理論的分析により、モデルが深層学習フレームワークと整合していることが確認され、大規模データセットへのスケーラビリティが可能となった。
• 広範な実験により、訓練データのわずかな割合しかラベルが付与されていなくても、本手法が高い精度を維持することが確認された。