[論文レビュー] Label Encoding for Regression Networks

Deval Shah, Zi Yu Xue+1 more|arXiv (Cornell University)|Dec 4, 2022

Machine Learning and Data Classification被引用数 5

ひとこと要約

本稿では、回帰を多ビットのバイナリ分類に再定式化することで精度を向上させる、新しいフレームワークであるバイナリエンコードラベル（BEL）を提案する。実数値のターゲットをバイナリコードに量子化し、M個のバイナリ分類器を訓練することで、顔のアングル推定、顔面ランドマーク検出、年齢推定、エンドツーエンド自動運転など、多様な回帰タスクで、直接回帰や特化型手法を上回る最先端の性能を達成する。また、市販の特徴抽出器やエンドツーエンド学習と互換性を保ちながらも、効率的なモデル設計を可能にする。

ABSTRACT

Deep neural networks are used for a wide range of regression problems. However, there exists a significant gap in accuracy between specialized approaches and generic direct regression in which a network is trained by minimizing the squared or absolute error of output labels. Prior work has shown that solving a regression problem with a set of binary classifiers can improve accuracy by utilizing well-studied binary classification algorithms. We introduce binary-encoded labels (BEL), which generalizes the application of binary classification to regression by providing a framework for considering arbitrary multi-bit values when encoding target values. We identify desirable properties of suitable encoding and decoding functions used for the conversion between real-valued and binary-encoded labels based on theoretical and empirical study. These properties highlight a tradeoff between classification error probability and error-correction capabilities of label encodings. BEL can be combined with off-the-shelf task-specific feature extractors and trained end-to-end. We propose a series of sample encoding, decoding, and training loss functions for BEL and demonstrate they result in lower error than direct regression and specialized approaches while being suitable for a diverse set of regression problems, network architectures, and evaluation metrics. BEL achieves state-of-the-art accuracies for several regression benchmarks. Code is available at https://github.com/ubc-aamodt-group/BEL_regression.

研究の動機と目的

• ディープラーニングにおける汎用的直接回帰と特化型回帰モデルの間の顕著な精度格差を是正すること。
• バイナリ分類を回帰に一般化する汎用フレームワークを開発し、多様なタスクで精度を向上させること。
• ラベル表現における誤差確率と誤り訂正のバランスを取るために、エンコーディング関数とデコーディング関数に望ましい性質を同定・形式化すること。
• 市販の特徴抽出器と組み合わせながらエンドツーエンド学習を可能にし、バイナリ分類器間の相関を活用してモデルパラメータ数を削減すること。
• 年齢推定、顔面ランドマーク検出、自動運転を含む複数の回帰ベンチマークで優れた性能を示すこと。

提案手法

• 連続的なターゲット値をMビットのバイナリコードに量子化し、M個のバイナリ分類器を訓練するバイナリエンコードラベル（BEL）フレームワークを提案する。
• 実数値のラベルをバイナリコードにマッピングするエンコーディング関数と、分類器出力から実数値の予測を再構築するデコーディング関数を導入する。
• 量子化誤差を最小化し、回帰精度を向上させるために、相関に基づくデコーディング関数を設計する。
• バイナリ出力に対してバイナリクロスエントロピー、クロスエントロピー、またはL1/L2損失を用いた訓練損失を定式化し、エンドツーエンド最適化を可能にする。
• バイナリ分類器出力間の相関を活用することで、回帰器のパrameter数を削減し、効率性を向上させる。
• タスク固有の特徴抽出器（例：ResNet、VGG、PilotNet）とBELを組み合わせ、標準的なディープラーニングパイプラインを用いてエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 特化型の順序付きまたはマルチクラスアプローチを超えて、バイナリ分類をどのように一般化することで回帰タスクの精度を向上させられるか？
• RQ2 誤差確率と誤り訂正のバランスを取るうえで、エンコーディング関数とデコーディング関数に最も効果的な性質は何か？
• RQ3 複数のバイナリ分類器出力間の相関をどれほど活用すれば、精度を損なわずにモデルの複雑さを低減できるか？
• RQ4 BELは、MAEとカバレッジスコアの観点から、直接回帰やタスク固有のモデルと比較して、多様な回帰ベンチマークでどの程度優れた性能を示すか？
• RQ5 異なるアーキテクチャやデータセットにおいて、BELの性能にバイナリクロスエントロピー、クロスエントロピー、L1/L2損失といった異なる損失関数が及ぼす影響は何か？

主な発見

• MORPH-IIデータセットではBELが最先端の性能を達成し、ResNet50を用いた直接回帰の2.44 ± 0.01からMAEを2.27 ± 0.01に低減した。
• AFADデータセットではBELが3.11 ± 0.01のMAEを達成し、直接回帰（3.21 ± 0.02）およびOR-CNNやCORAL-CNNといった特化型モデルを上回った。
• エンドツーエンド自動運転では、PilotNetアーキテクチャを用いてBELがMAEを3.11 ± 0.01に低減したのに対し、ベースラインは4.24 ± 0.45であった。
• 提案された期待値に基づく相関デコーディング関数は、すべてのタスクで量子化誤差を効果的に低減し、予測精度を向上させた。
• BELは、ResNet、VGG、PilotNetといった複数のアーキテクチャおよびMAE、カバレッジスコアといった複数の評価指標において一貫した性能向上を示し、広範な適用可能性を示した。
• バイナリ分類器出力間の相関を活用することで、パラメータ削減が可能となり、リアルタイム応用に適した効率的なフレームワークを実現した。