[論文レビュー] Deep Ordinal Regression using Optimal Transport Loss and Unimodal Output Probabilities

Uri Shaham, Igal Zaidman+1 more|arXiv (Cornell University)|Nov 15, 2020

Machine Learning and Data Classification被引用数 6

ひとこと要約

本稿では、最適輸送損失を用いて最大尤度の代わりに学習し、独自のアーキテクチャ設計によって出力確率が単峰性を保証する深層順序回帰フレームワークを提案する。この手法は、8つの実世界データセットにおいて最先端の性能を達成するとともに、予測の単峰性を保証し、従来の手法と比較してモデルの過信度を低減する。

ABSTRACT

It is often desired that ordinal regression models yield unimodal predictions. However, in many recent works this characteristic is either absent, or implemented using soft targets, which do not guarantee unimodal outputs at inference. In addition, we argue that the standard maximum likelihood objective is not suitable for ordinal regression problems, and that optimal transport is better suited for this task, as it naturally captures the order of the classes. In this work, we propose a framework for deep ordinal regression, based on unimodal output distribution and optimal transport loss. Inspired by the well-known Proportional Odds model, we propose to modify its design by using an architectural mechanism which guarantees that the model output distribution will be unimodal. We empirically analyze the different components of our proposed approach and demonstrate their contribution to the performance of the model. Experimental results on eight real-world datasets demonstrate that our proposed approach consistently performs on par with and often better than several recently proposed deep learning approaches for deep ordinal regression with unimodal output probabilities, while having guarantee on the output unimodality. In addition, we demonstrate that proposed approach is less overconfident than current baselines.

研究の動機と目的

• 解釈可能性が求められる実世界の応用において、深層順序回帰モデルで単峰性出力確率が保証されていないという問題に対処すること。
• 最大尤度学習を最適輸送損失に置き換えることにより、順序クラスの関係をより適切に捉え、順序に基づいて誤分類をペナルティ化できるようにすること。
• ソフトターゲットや後処理に依存せずに、ニューラルネットワークアーキテクチャ自体が単峰性確率分布を内蔵的に生成できるように設計すること。
• 単峰性出力と最適輸送損失の組み合わせがモデル性能を向上させるとともに過信度を低減することを実証的に検証すること。
• 多様なベンチマークデータセットにおいて、最近の深層順序回帰手法と比較して一貫して優れた性能を示すことを示すこと。

提案手法

• ロジットが学習可能な位置パラメータと単調減少メカニズムを用いて、単峰性出力分布を強制するようにパrameter化された変更版比例オッズモデルのアーキテクチャを採用する。
• 出力層は、構築上単峰性が保証される確率分布を生成し、確率が単一のクラスでピークし、両方向に単調に減少するように設計されている。
• 訓練目的として最適輸送損失が用いられ、予測分布から真のラベル（デルタ関数）への質量移動コストを測定し、順序に敏感で微分可能である。
• 真のラベルがデルタ関数の場合、最適輸送損失は閉形式で計算可能であり、効率的なバックプロパゲーションとエンドツーエンド学習を可能にする。
• ソフトターゲットは完全に回避される。単峰性は正則化やラベルスムージングではなく、アーキテクチャによって強制される。
• すべてのモデルは同一のデータオーグメンテーション、バックボーンCNN、および訓練プロトコルを用いて学習され、手法間の公平な比較を保証する。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャ設計による単峰性出力確率の強制は、ソフトターゲットベースの手法と比較して、深層順序回帰における一般化性能を向上させるか？
• RQ2 最適輸送損失は、最大尤度と比較して、ラベルの順序的性質をより適切に捉えることで、順序回帰の性能を向上させられるか？
• RQ3 提案手法は、特に誤った予測において、従来の深層順序回帰モデルと比較してモデルの過信度を低減するか？
• RQ4 単峰性アーキテクチャと最適輸送損失の組み合わせは、多様な実世界の順序回帰ベンチマークでどのように性能を発揮するか？
• RQ5 提案手法は、MAE、正解率、相関係数の指標において、常に最先端の手法と同等かそれ以上に優れているか？

主な発見

• 提案手法は8つのベンチマークデータセットすべてで最先端または競争力のある性能を達成し、平均スピアマン相関係数0.95、QWK1.01を記録した。
• 8つのデータセットのうち6つで、誤った予測におけるエントロピーの比が正しく分類された予測よりも高かったことから、すべてのベースラインと比較して過信度が低かった。
• 単峰性出力を保証したのは、提案手法と[1]のみであり、他のすべてのベースライン（ソフトターゲットを使用）は予測の顕著な割合で単峰性を維持できなかった。
• DLDL、SORD、[18]、[13]と比較して、1つのデータセットを除き、すべてのデータセットでMAEおよびOOAにおいて優れた性能を示し、いくつかの指標で統計的に有意な改善を達成した。
• アブレーションスタディの結果、単峰性アーキテクチャと最適輸送損失の両方が性能向上に寄与しており、それぞれ独立して効果を示した。
• WIKIデータセットではテスト正解率0.69 ± 0.01、Retina-MNISTでは0.95 ± 0.01を達成し、両指標ですべてのベースラインを上回った。