[論文レビュー] A simple squared-error reformulation for ordinal classification

Christopher Beckham, Christopher Pal|arXiv (Cornell University)|Dec 2, 2016

Retinal Imaging and Analysis参考文献 7被引用数 20

ひとこと要約

本論文では、固定されたクラスインデックスのベクトルとソフトマックス活性化された隠れ層を用いた深層ニューラルネットワークにおいて、順序分類のための単純な二乗誤差再定式化を提案する。予測された順序クラスインデックスと真の順序クラスインデックスの間の二乗誤差を最小化することで、補正された確率分布が得られ、糖尿病網膜症データセットにおいて交差エントロピーと直接的なQWK最適化を上回る性能を示し、ラベルノイズに対してより頑健である一方で、優れた二乗加重Kappaスコアを達成する。

ABSTRACT

In this paper, we explore ordinal classification (in the context of deep neural networks) through a simple modification of the squared error loss which not only allows it to not only be sensitive to class ordering, but also allows the possibility of having a discrete probability distribution over the classes. Our formulation is based on the use of a softmax hidden layer, which has received relatively little attention in the literature. We empirically evaluate its performance on the Kaggle diabetic retinopathy dataset, an ordinal and high-resolution dataset and show that it outperforms all of the baselines employed.

研究の動機と目的

• 標準的な交差エントロピー損失が、クラス間の距離に関係なく誤分類を同等に扱うという順序分類における限界を是正すること。
• クラス順序を尊重し、順序クラス上の意味のある確率分布を生成する、単一モデルのシンプルな深層学習アプローチを開発すること。
• 固定クラスインデックスを用いた二乗誤差損失が、実世界の順序医療画像認識タスクにおいて、従来の交差エントロピーと直接的なQWK最適化を上回るかを評価すること。
• 異なる目的関数最適化における、交差エントロピーと二乗加重Kappaのパフォーマンスのトレードオフを明らかにすること。

提案手法

• 本手法は、最終層にソフトマックス活性化された層を備えた深層ニューラルネットワークを用い、クラス確率を出力した後、クラスインデックス a = [0, 1, ..., k-1] を用いたこれらの確率の固定線形結合により、期待される順序クラスを予測する。
• 損失関数は、真のクラスインデックス c とソフトマックス層の出力 f(x) の内積 a^T f(x) の二乗誤差 (c - a^T f(x))^2 として定義される。
• 固定ベクトル a は学習されず、解釈可能性を保ちつつ追加パラメータを回避する一方で、ネットワークは真の順序クラスインデックスからの距離を最小化するクラス確率を予測するように学習する。
• 本手法は、5段階の病態重症度を持つ高解像度の順序分類タスクであるKaggleの糖尿病網膜症データセットを用いて評価された。
• 標準的な交差エントロピー学習およびSGDにネステロフモーメンタムを用いた二乗加重Kappa（QWK）の直接最適化と比較された。
• 確率分布はヒストグラムおよびボックスプロットを用いて分析され、予測の補正性と保守性が評価された。

実験結果

リサーチクエスチョン

• RQ1 固定クラスインデックスベクトルを用いた単純な二乗誤差損失は、深層ニューラルネットワークにおける標準的交差エントロピーと比較して、順序分類性能を向上させることができるか？
• RQ2 提案手法は、交差エントロピーまたは直接的なQWK最適化と比較して、より補正され、保守的な確率分布を生成するか？
• RQ3 異なる目的関数最適化において、交差エントロピーと二乗加重Kappaのパフォーマンスのトレードオフはどのように現れるか？
• RQ4 本手法は、正しいクラスに確率が集中する必要を緩和するが、ラベルノイズに対してどの程度頑健であるか？

主な発見

• 提案手法（'fix a'）は、検証セットにおいて交差エントロピーおよび直接的QWK最適化を上回る高い二乗加重Kappaスコアを達成し、すべてのベースラインを上回った。
• QWKとは対照的に、'fix a'では正しいクラスの確率推定値が0に近い値をとる回数（約125回）が少なく、過信の少ない補正された予測が得られた。
• 交差エントロピーと比較して、'fix a'手法では正しいクラスの予測確率が1に近い値をとる頻度が高かったため、正しい予測に対する自信が向上した。
• 交差エントロピーと比較して、'fix a'手法は予測をより保守的に行った。特に誤ったクラス（例：クラス1および2）に対して割り当てられる中央値確率が低く抑えられ、より慎重な予測戦略を示した。
• QWK最適化モデルは、最も高い交差エントロピー損失を示したが、これは確率分布が正しいクラスに集中していないことを示唆する一方で、クラス間距離ペナルティの処理が優れており、結果として最高のQWKスコアを達成した。
• 本手法は、ソフトマックス出力の単純で微分可能かつパラメータフリーな変換を通じて、クラス順序を尊重しつつ、意味のある順序クラス上の確率分布を学習し得た。