[論文レビュー] Deep Neural Networks for Rank-Consistent Ordinal Regression Based On Conditional Probabilities

Xintong Shi, Wenzhi Cao+1 more|arXiv (Cornell University)|Nov 17, 2021

Machine Learning and Data Classification参考文献 20被引用数 6

ひとこと要約

本稿では、条件付き確率分布をチェインルールを用いて利用することで順序の順守を保証するが、重み共有制約を課さない、ニューラルネットワーク向けの条件付き順序回帰フレームワークであるCORNet（Conditional Ordinal Regression for Neural Networks）を提案する。CORALなどの先行手法とは異なり、重み共有を排除することでネットワークの表現力が向上し、画像および表形式データセットにおいて優れた性能を発揮する。MORPH-2およびAFADデータセットでは最先端の結果を達成し、Firemanデータセットでも競争力のある性能を示す。

ABSTRACT

In recent times, deep neural networks achieved outstanding predictive performance on various classification and pattern recognition tasks. However, many real-world prediction problems have ordinal response variables, and this ordering information is ignored by conventional classification losses such as the multi-category cross-entropy. Ordinal regression methods for deep neural networks address this. One such method is the CORAL method, which is based on an earlier binary label extension framework and achieves rank consistency among its output layer tasks by imposing a weight-sharing constraint. However, while earlier experiments showed that CORAL's rank consistency is beneficial for performance, it is limited by a weight-sharing constraint in a neural network's fully connected output layer, which may restrict the expressiveness and capacity of a network trained using CORAL. We propose a new method for rank-consistent ordinal regression without this limitation. Our rank-consistent ordinal regression framework (CORN) achieves rank consistency by a novel training scheme. This training scheme uses conditional training sets to obtain the unconditional rank probabilities through applying the chain rule for conditional probability distributions. Experiments on various datasets demonstrate the efficacy of the proposed method to utilize the ordinal target information, and the absence of the weight-sharing restriction improves the performance substantially compared to the CORAL reference approach. Additionally, the suggested CORN method is not tied to any specific architecture and can be utilized with any deep neural network classifier to train it for ordinal regression tasks.

研究の動機と目的

• 深層ニューラルネットワークの順序回帰において、順序ラベルの順序を無視する手法のランク不整合性という限界を是正すること。
• CORALなどの既存のランク整合性手法に見られる重み共有制約を排除することにより、モデルの表現力と容量を制限しないこと。
• アーキテクチャに依存しない訓練フレームワークを構築し、ランク整合性を保証するとともに、計算複雑性を低く抑え、任意の深層ニューラルネットワークアーキテクチャと互換性を持つこと。
• 重み共有制約を排除することで、多様な順序回帰タスクにおいて予測性能が向上することを実証的に検証すること。

提案手法

• CORNetは、条件付き確率分布に基づく新しい訓練方式を採用し、チェインルールを用いて条件付き確率から無条件のランク確率を計算する。
• 各二値分類タスク用に条件付き訓練サブセットを構築することで、確率推定が理論的に根拠を持ち、ランク整合性を保証する。
• 各順序クラスkに対して、y > r_kである訓練データのサブセットを用いてP(y > r_k | x)を予測することで、出力ユニット全体にわたる一貫性のあるランク付けを実現する。
• 最終的な予測ランクは累積確率スコアから導出され、より高いランクが割り当てられるのは、下位ランクが信頼性を持って予測された場合に限る。
• このフレームワークはアーキテクチャに依存せず、CNNやフィードフォワードネットワークを含む任意の深層ニューラルネットワーク分類器に適用可能である。
• 出力層での重み共有の必要性を回避することで、最終全結合層の表現力を完全に活用できる。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークの出力層において重み共有制約を課さずに、順序回帰のランク整合性を達成できるか？
• RQ2 ランク整合性順序回帰において重み共有制約を排除することで、実世界のデータセットにおける予測性能が向上するか？
• RQ3 条件付き確率に基づく訓練方式は、理論的ランク整合性を維持しながらモデルの精度を向上させることができるか？
• RQ4 CORNの性能は、画像および表形式データセットにおいてOR-NN、CORAL、および標準的なクロスエントロピー基準と比較してどうなるか？

主な発見

• MORPH-2およびAFADの画像データセットでは、それぞれテストMAEが2.98 ± 0.02および2.81 ± 0.02と、OR-NNおよびCORALを上回る最先端の性能を達成した。
• Firemanの表形式データセットでは、CORNはOR-NNと同等の性能（MAE: 0.76 ± 0.01）を示し、CE-NNおよびCORALを上回った。これは優れた一般化性能を示している。
• アブレーションスタディの結果、訓練サブセットが不可欠であることが確認された。サブセットを削除すると、全データセットで性能が低下し、AFADではMAEが3.06 ± 0.02に、AESでは0.68 ± 0.01に上昇した。
• CORNetが重み共有制約を排除したことで、MORPH-2およびAFADで性能が向上した。これは、CORALが表現力に制限があるため、OR-NNに劣っていたことの裏付けである。
• この手法は、訓練の複雑性を増加させることなくランク整合性を維持でき、任意の深層ニューラルネットワークアーキテクチャと互換性を持つ。
• 5つの異なる乱数シードで実験した結果、性能向上はランダム初期化やデータシャッフルの影響ではなく、一貫性のあるものであることが確認された。