[論文レビュー] Unimodal probability distributions for deep ordinal classification

Christopher Beckham, Christopher Pal|arXiv (Cornell University)|May 15, 2017

Explainable Artificial Intelligence (XAI)参考文献 12被引用数 14

ひとこと要約

この論文では、深層順序分類におけるunimodal確率分布をポアソン分布および二項分布を用いて強制することで、モデルの解釈性と性能を向上させる手法を提案する。予測が単一のクラスでピークし、両側で単調に減少するように制約することで、2つの大規模な画像データセットにおいて、特にtop-k精度および二乗加重Kappa（QWK）で競争的または優れた性能を達成した。特に、二項分布の定式化がポアソン分布を上回り、Earth Mover's Distance（EMD）損失と組み合わせることでさらなる向上が得られた。

ABSTRACT

Probability distributions produced by the cross-entropy loss for ordinal classification problems can possess undesired properties. We propose a straightforward technique to constrain discrete ordinal probability distributions to be unimodal via the use of the Poisson and binomial probability distributions. We evaluate this approach in the context of deep learning on two large ordinal image datasets, obtaining promising results.

研究の動機と目的

• 標準的な交差エントロピー損失が、同じ損失値であっても、多峰的で直感的でない確率分布を生成する問題に対処すること。
• クラスの自然な順序付けを反映するunimodal分布を強制することで、順序分類におけるモデルの挙動を改善すること。
• 深層学習におけるunimodal制約が、より合理的で効果的な確率予測をもたらすかどうかを評価すること。
• unimodal定式化と標準的な交差エントロピー損失およびEMD損失を、大規模な順序画像データセット上で比較すること。
• unimodal制約が正則化の一種として機能するかどうか、特にtop-k精度指標において有益であるかどうかを調査すること。

提案手法

• ポアソンおよび二項分布の確率質量関数（PMF）を用いて、順序クラス上の予測確率分布をパrameterizeする。
• 予測分布が中央のクラスでピークし、両側で単調に減少するように、unimodal制約を課す。
• 高K設定における問題を軽減するため、ポアソン分布の分散を制御する学習可能な温度パrameter τを導入する。
• クラスの順序と距離を考慮するEMD損失をベースライン比較として採用する。
• unimodal分布パrameterizationを用いて、交差エントロピーまたはEMD損失で深層ニューラルネットワークを訓練する。
• unimodal分布の位置と広がりを制御するmean値τを学習するための期待値のテクニックを用いる。

実験結果

リサーチクエスチョン

• RQ1 unimodal確率分布の強制は、深層順序分類における予測の質と解釈性を向上させることができるか？
• RQ2 ポアソン分布と二項分布は、深層学習におけるunimodal順序予測をモデル化する能力において、どのように比較されるか？
• RQ3 unimodal制約を用いることで、標準的な交差エントロピー損失と比較して、top-k精度および二乗加重Kappa（QWK）でより良い性能が得られるか？
• RQ4 unimodal制約は、Earth Mover's Distance（EMD）損失と組み合わせることでより効果的か？
• RQ5 高基数の順序問題（例：多数の年齢クラス）において、ポアソン分布の分散が性能を劣化させるか、温度スケーリングがこれを緩和できるか？

主な発見

• 二項分布の定式化は、Adienceおよび糖尿病網膜症データセットの両方において、QWKおよびtop-k精度の両面でポアソン分布の定式化を一貫して上回った。
• 最も性能が悪かった設定（τ=1のポアソン）でも、Adienceデータセットでは交差エントロピー基準よりも高いtop-3精度を達成した。
• EMD損失はポアソン分布と組み合わせると性能向上をもたらしたが、二項分布と組み合わせると効果がなかったことから、損失と分布の間の相互作用が異なることが示唆された。
• unimodal制約は正則化の一種として機能し、特にtop-k精度において効果的であった。これは、真のクラスがモードに隣接する場合、隣接クラスに高い確率質量が集中することを保証したためである。
• 温度スケーリング（τ）は、特にポアソン分布において性能を顕著に向上させた。分散を制御し、確率質量が広がりすぎることを防いだためである。
• より大きな糖尿病網膜症データセットでは、深層ネットワークが自然にunimodalに似た分布を学習したため、明示的なunimodal制約の必要性が低下したが、二項分布の定式化により依然として性能向上が観察された。