[論文レビュー] Non-parametric Uni-modality Constraints for Deep Ordinal Classification

Soufiane Belharbi, Ismail Ben Ayed+2 more|arXiv (Cornell University)|Nov 25, 2019

Anomaly Detection Techniques and Applications参考文献 36被引用数 4

ひとこと要約

本論文は、隣接ラベル間の(c−1)組のペアワイズ制約を用いてラベル分布の単峰性を強制することで、パrametricな仮定を設けずに、柔軟でスケーラブルなトレーニングを可能にする非パrametricで不等式制約付きの深層学習フレームワークを提案する。拡張されたログバリアント法を用いることで、ペナルティベースの手法や最先端のモデルに比べ、特にFGNET（70クラス）のような大規模データセットにおいて、ラベルの一貫性と精度の両面で優れた性能を発揮する。

ABSTRACT

We propose a new constrained-optimization formulation for deep ordinal classification, in which uni-modality of the label distribution is enforced implicitly via a set of inequality constraints over all the pairs of adjacent labels. Based on (c-1) constraints for c labels, our model is non-parametric and, therefore, more flexible than the existing deep ordinal classification techniques. Unlike these, it does not restrict the learned representation to a single and specific parametric model (or penalty) imposed on all the labels. Therefore, it enables the training to explore larger spaces of solutions, while removing the need for ad hoc choices and scaling up to large numbers of labels. It can be used in conjunction with any standard classification loss and any deep architecture. To tackle the ensuing challenging optimization problem, we solve a sequence of unconstrained losses based on a powerful extension of the log-barrier method. This handles effectively competing constraints and accommodates standard SGD for deep networks, while avoiding computationally expensive Lagrangian dual steps and outperforming substantially penalty methods. Furthermore, we propose a new performance metric for ordinal classification, as a proxy to measure distribution uni-modality, referred to as the Sides Order Index (SOI). We report comprehensive evaluations and comparisons to state-of-the-art methods on benchmark public datasets for several ordinal classification tasks, showing the merits of our approach in terms of label consistency, classification accuracy and scalability. Importantly, enforcing label consistency with our model does not incur higher classification errors, unlike many existing ordinal classification methods. A public reproducible PyTorch implementation is provided. (https://github.com/sbelharbi/unimodal-prob-deep-oc-free-distribution)

研究の動機と目的

• 標準的な深層順序分類では、交差エントロピー損失が低いにもかかわらず、矛盾した予測を生じがちなラベルの一貫性の欠如に対処する。
• 既存のパラメトリック手法が、ラベル分布に厳密な単峰性の形（例：正規分布やポisson分布）を強制するため、感度の高いハイパーパramータチューニングを要するという制限を克服する。
• 出力分布を特定のパラメトリック族に制約しない、柔軟な非パラメトリックな定式化を構築し、より広い解空間を探索可能にする。
• 複雑なタスク固有のパラメトリック仮定を避けることで、多数の順序クラスにスケーラブルなアプローチを実現し、臨戦的な設計選択に依存するのを減らす。
• 予測ラベル分布の単峰性と一貫性を定量的に評価できる新たな性能指標、Sides Order Index（SOI）を導入する。

提案手法

• 隣接ラベルペア間の(c−1)個の不等式制約を課すことで、予測事後分布の単峰性を強制する制約付き最適化問題として順序分類を定式化する。
• 拡張されたログバリアント法を用いて、制約付き問題を一連の無制約サブ問題に変換し、高価な双対問題や射影ステップを回避した標準的なSGDトレーニングを可能にする。
• 制約フレームワークを、任意の標準分類損失（例：交差エントロピー）および任意の深層ニューラルネットワークアーキテクチャと統合可能である。
• ログバリアント法が競合する制約を効果的に処理できることを活かし、実行可能で一貫性のある解への収束を保証する。
• 予測分布の単峰性の度合いを定量化するための微分可能代理指標として、Sides Order Index（SOI）を設計する。
• ICIAR、HCI、AFAD-Lite、AFAD-Full、FGNETを含むベンチマークデータセットに本手法を適用し、MAEやSOIを含む複数の指標で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 パラメトリックな形を出力分布に強制しない非パラメトリックで不等式制約付きの最適化フレームワークは、出力分布の特定のパラメトリック形を仮定しないまま、深層順序分類におけるラベルの一貫性を向上させることができるか？
• RQ2 提案されたログバリアントベースの最適化法は、ペナルティ法やラグランジュ双対法と比較して、制約の満たし方とトレーニング効率の面でどのように異なるか？
• RQ3 隣接ラベル間の制約による単峰性の強制は、多数の順序クラスを含むデータセットにおいて、一般化性能とスケーラビリティをどの程度向上させるか？
• RQ4 提案されたSides Order Index（SOI）は、順序分類における予測ラベル分布の一貫性を測るための信頼性があり、微分可能な代理指標として機能するか？
• RQ5 提案手法は、最先端のアプローチと比較して、予測の一貫性を著しく向上させつつ、分類精度（例：MAE）を維持または向上させることができるか？

主な発見

• 提案手法ELB（Extended Log-Barrier）は、70クラスのFGNETにおいて最先端の性能を達成し、平均絶対誤差（MAE）が4.27を記録。REN（4.53）やMV（5.21）を上回る。
• AFAD-Fullでは、MAEが3.19に達し、Niuら（2016）が報告した過去の最先端の3.34を上回っている。ベースラインが100回のランダム実行を要するのに対し、本手法は10回のランダム実行で達成している。
• 交差エントロピー損失と組み合わせた際、ICIAR、HCI、AFAD-Lite、FGNETの全データセットでMAEが一貫して改善され、制約の強制が予測精度を向上させることを示している。
• Sides Order Index（SOI）指標は単峰性を効果的に捉えており、ELBはベースライン手法と比較して顕著に高いSOI値を示しており、より強いラベルの一貫性を示している。
• ログバリアント法は、ペナルティ法（PN）やラグランジュ双対法に比べ、制約の満たし方において優れており、標準的な交差エントロピー訓練と比較して計算コストの増加も最小限に抑えられている。
• 本手法は多数のクラスにスケーラブルであり、POがスケーリングできないか評価がなされていないFGNET（70クラス）において優れた性能を示しており、その有効性が裏付けられている。