[論文レビュー] Rank4Class: A Ranking Formulation for Multiclass Classification

Nan Wang, Zhen Qin+5 more|arXiv (Cornell University)|Dec 17, 2021

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

この論文では、多クラス分類問題を各入力インスタンスに対してクラスをランク付けする学習の問題に再定式化する、Rank4Classと呼ばれる新しいランク付け定式化を提案する。NDCGなどのランク付け指標と高度な学習-ランク付け損失を活用することで、バックボーンモデルを変更せずにテキストおよび画像タスクにおいて性能を向上させ、標準的なTop-K指標よりも一般化性能に優れた、最先端または競争力のある結果を多様なベンチマークで達成した。

ABSTRACT

Multiclass classification (MCC) is a fundamental machine learning problem of classifying each instance into one of a predefined set of classes. In the deep learning era, extensive efforts have been spent on developing more powerful neural embedding models to better represent the instance for improving MCC performance. In this paper, we do not aim to propose new neural models for instance representation learning, but to show that it is promising to boost MCC performance with a novel formulation through the lens of ranking. In particular, by viewing MCC as to rank classes for an instance, we first argue that ranking metrics, such as Normalized Discounted Cumulative Gain, can be more informative than the commonly used Top-$K$ metrics. We further demonstrate that the dominant neural MCC recipe can be transformed to a neural ranking framework. Based on such generalization, we show that it is intuitive to leverage advanced techniques from the learning to rank literature to improve the MCC performance out of the box. Extensive empirical results on both text and image classification tasks with diverse datasets and backbone neural models show the value of our proposed framework.

研究の動機と目的

• 多クラス分類をランク付け問題に再定式化し、より情報豊かな評価とモデル性能の向上を可能にする。
• Top-K正解率よりもNDCGのようなランク付け指標が多クラス分類モデルの評価においてより情報量が多いことを示す。
• 既存の深層学習ベースの多クラス分類パイプラインが、ニューラルランク付けフレームワークとして同等に見なせることを示す。
• ランク付けに配慮した損失関数と強化されたインスタンス-クラス相互作用モデリングを通じて、多クラス分類の性能向上を実現する。
• バックボーンニューラルネットワークを変更せずに、多様なデータセットおよびモダリティで性能を向上させる汎用的でアーキテクチャに依存しないフレームワークを提供する。

提案手法

• 各入力インスタンスをクエリ、各クラスをランク付け対象のアイテムとして扱う、学習-ランク付け問題として多クラス分類を再定式化する。
• Top-K正解率よりも情報量が多い評価のため、正規化された割引累積利得（NDCG）などのランク付け指標を採用する。
• 分類層をランク付けスコアラーとして扱うことで、標準的なMCCパイプラインをニューラルランク付けフレームワークに変換する。
• 学習-ランク付けの文献から得た高度な損失関数（例：LTR文脈におけるもの）を用いて、標準的な交差エントロピー損失ではなくランク付け品質を最適化する。
• 潜在的クロスや連結ベースのメカニズムを含む、入力インスタンスとクラス表現間のより豊かな相互作用をモデル化することで、モデル容量を向上させる。
• エンコーダーのアーキテクチャを変更せずに、多様なバックボーンモデル（例：ResNet、ViT、BERT）を用いて、テキストおよび画像分類タスクにこのフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 NDCGのようなランク付け指標は、多クラス分類においてTop-K正解率よりもより情報量が多い評価を提供できるか？
• RQ2 多クラス分類を学習-ランク付け問題に再定式化することで、性能を向上させることは可能か？
• RQ3 ランク付けに配慮した損失関数と強化されたインスタンス-クラス相互作用メカニズムは、多クラス分類性能にどのように影響するか？
• RQ4 提案されたフレームワークは、バックボーンニューラルネットワークを変更せずに、多様なデータセットおよびモダリティで性能向上を達成できるか？
• RQ5 実際の応用において、さまざまなランク付け指標（例：Top-1誤差 vs. NDCG@5）どうしがどの程度相関しているか？

主な発見

• 提案されたRank4Classフレームワークは、評価されたすべてのテキストおよび画像分類タスクでベースラインモデルを上回るか同等の性能を示し、一貫した向上を確認した。
• NDCG@5はTop-5誤差よりも情報量が多く、異なるモデル間での性能順位が2つの指標で異なった。
• 潜在的クロス相互作用メカニズムは、Top-1誤差では6つのタスクのうち4つ、NDCG@5では6つのうち5つで最高の性能を達成し、インスタンス-クラス相互作用のモデリングが優れていることを示した。
• エンコーダーのアーキテクチャを変更せずに、ResNet、ViT、BERTを含む多様なデータセットおよびバックボーンモデルで、最先端または競争力のある結果を達成した。
• 学習-ランク付け分野の損失関数を用いることで、すべての設定で標準的な交差エントロピー損失よりも明確な性能向上が得られた。
• 標準的なMCCとニューラルランク付けパイプラインの等価性が実証的に検証され、既存モデルを理解する新しい理論的・実践的視点が得られた。