[論文レビュー] Rank-consistent Ordinal Regression for Neural Networks

Wenzhi Cao, Vahid Mirjalili+1 more|arXiv (Cornell University)|Jan 20, 2019

Face recognition and analysis参考文献 38被引用数 29

ひとこと要約

本論文では、順序付きクラス間で予測されたロジットと信頼度スコアの単調性を強制する、ニューラルネットワーク向けの新しいランク一致順序回帰フレームワークCORALを提案する。二値サブタスクにおける一貫性の欠如を解消することで、顔画像データセットにおける年齢予測性能が向上し、ベースラインの順序回帰ネットワーク比で顕著な誤差低減を達成する。

ABSTRACT

In many real-world predictions tasks, class labels include information about the relative ordering between labels, which is not captured by commonly-used loss functions such as multi-category cross-entropy. Recently, ordinal regression frameworks have been adopted by the deep learning community to take such ordering information into account. Using a framework that transforms ordinal targets into binary classification subtasks, neural networks were equipped with ordinal regression capabilities. However, this method suffers from inconsistencies among the different binary classifiers. We hypothesize that addressing the inconsistency issue in these binary classification task-based neural networks improves predictive performance. To test this hypothesis, we propose the COnsistent RAnk Logits (CORAL) framework with strong theoretical guarantees for rank-monotonicity and consistent confidence scores. Moreover, the proposed method is architecture-agnostic and can extend arbitrary state-of-the-art deep neural network classifiers for ordinal regression tasks. The empirical evaluation of the proposed rank-consistent method on a range of face-image datasets for age prediction shows a substantial reduction of the prediction error compared to the reference ordinal regression network.

研究の動機と目的

• ニューラルネットワークベースの順序回帰フレームワークにおける二値分類器間の不一致を是正すること。
• 順序付きクラスラベルの間で予測ロジットと信頼度スコアのランク単調性を保証する手法の開発。
• アーキテクチャに依存しないソリューションを構築し、順序回帰タスクにおける最先端分類器の性能を向上させること。
• 実世界の顔画像データセットを用いた実験的妥当性評価を通し、年齢予測タスクにおける有効性を検証すること。

提案手法

• CORALフレームワークは、順序付きクラス間でロジットのランク単調性を強制する新しい損失関数を導入する。
• モデルがより高い順位のクラスに対して高い信頼度を予測するように制約することで、一貫した信頼度スコアを確保する。
• 構造的正則化機構を通じて一貫性を維持しつつ、順序回帰を一連の二値サブタスクに変換する。
• あらゆるディープニューラルネットワークアーキテクチャと互換性を持つように設計されており、プラグアンドプレイ統合が可能である。
• クラス順序に対して予測が単調に増加するよう保証する理論的根拠を用いる。
• グローバル一貫性制約を課すことにより、標準的な二値分解手法で一般的に見られる不一致問題を回避する。

実験結果

リサーチクエスチョン

• RQ1 予測ロジットにおけるランク単調性の強制は、順序回帰タスクの性能向上に寄与するか？
• RQ2 信頼度スコアの一貫性は、順序分類における予測精度にどのように影響するか？
• RQ3 汎用的かつアーキテクチャに依存しない手法は、既存の順序回帰ネットワークを上回る性能を発揮できるか？
• RQ4 提案手法は、ベースラインの順序回帰ネットワーク比で予測誤差をどの程度低減できるか？

主な発見

• CORALフレームワークは、顔画像データセットを用いた年齢予測において、複数のデータセットで顕著な予測誤差低減を達成した。
• 本手法は、すべての順序クラスにわたり、ロジットのランク単調性と一貫した信頼度スコアの強制に成功した。
• 実験的結果から、提案手法は予測精度の面で基準順序回帰ネットワークを上回ることが示された。
• 異なるディープラーニングアーキテクチャにわたり一貫した改善が得られたため、本手法の汎用性が確認された。
• 理論的保証による単調性が実際の実験でも維持されており、フレームワーク設計の妥当性が裏付けられた。
• CORALのアーキテクチャに依存しない性質により、アーキテクチャの変更なしに最先端分類器とシームレスに統合可能であることが確認された。