[論文レビュー] Towards Discriminability and Diversity: Batch Nuclear-norm Maximization under Label Insufficient Situations

Shuhao Cui, Shuhui Wang+4 more|arXiv (Cornell University)|Mar 27, 2020

Domain Adaptation and Few-Shot Learning参考文献 55被引用数 26

ひとこと要約

本稿では、バッチ出力行列のノルムを最大化することで、ラベルが乏しい状況下でも予測の判別性と多様性を向上させる、新たな学習目的であるBatch Nuclear-norm Maximization (BNM) を提案する。BNMは半教師あり学習、ドメイン適応、オープンドメイン認識の各分野で性能を向上させ、無教師オープンドメイン認識で最先端の結果を達成し、エントロピー最小化やバランス制約を上回る少数カテゴリの予測多様性を向上させる。

ABSTRACT

The learning of the deep networks largely relies on the data with human-annotated labels. In some label insufficient situations, the performance degrades on the decision boundary with high data density. A common solution is to directly minimize the Shannon Entropy, but the side effect caused by entropy minimization, i.e., reduction of the prediction diversity, is mostly ignored. To address this issue, we reinvestigate the structure of classification output matrix of a randomly selected data batch. We find by theoretical analysis that the prediction discriminability and diversity could be separately measured by the Frobenius-norm and rank of the batch output matrix. Besides, the nuclear-norm is an upperbound of the Frobenius-norm, and a convex approximation of the matrix rank. Accordingly, to improve both discriminability and diversity, we propose Batch Nuclear-norm Maximization (BNM) on the output matrix. BNM could boost the learning under typical label insufficient learning scenarios, such as semi-supervised learning, domain adaptation and open domain recognition. On these tasks, extensive experimental results show that BNM outperforms competitors and works well with existing well-known methods. The code is available at https://github.com/cuishuhao/BNM.

研究の動機と目的

• ラベルが不足する状況下で、特に高密度領域における予測の曖昧さにより、意思決定境界でのモデル性能が低下する問題に対処すること。
• エントロピー最小化の副作用、すなわち多数カテゴリに偏る傾向により予測の多様性が低下し、少数カテゴリの予測が損なわれる問題を克服すること。
• 少数カテゴリに関する事前知識が不要な状態で、予測の判別性と多様性を同時に向上させる統一的な学習目的を開発すること。
• 半教師あり学習、ドメイン適応、オープンドメイン認識を含む多様なラベルが乏しい学習タスクにおいて、提案手法の有効性を検証すること。

提案手法

• 理論的分析に基づき、バッチ出力行列のフロベニウスノルムと行列ランクが、それぞれ判別性と多様性を測る指標であることが示されている。
• 核ノルムは、フロベニウスノルム（判別性）と行列ランク（多様性）の凸近似として用いられ、両者の同時最適化が可能になる。
• Batch Nuclear-norm Maximization (BNM) は、ミニバッチ内の分類出力行列の核ノルムを最大化する目的関数として定式化される。
• BNM損失は標準的な交差エントロピー損失と組み合わせられ、半教師あり学習、ドメイン適応、オープンドメイン認識の既存の学習パイプラインにスムーズに統合可能である。
• BNM損失と分類損失のバランスを調整するハイパーパrameter λ を用いてパrameter化されており、実験により λ の変動に対して安定であることが示された。

実験結果

リサーチクエスチョン

• RQ1 ラベルが乏しい学習状況下で、予測の判別性と多様性を同時に最適化できるか？
• RQ2 バッチ出力行列の核ノルムを最大化することで、エントロピー最小化と比較して判別性と多様性の両方が効果的に向上するか？
• RQ3 半教師あり学習およびオープンドメイン認識において、エントロピー最小化やバランス制約といった既存手法と比較して、BNMはどのように性能を発揮するか？
• RQ4 少数カテゴリや未知カテゴリに対して、それらに関する事前知識がなくても、BNMはその性能を維持または向上させられるか？

主な発見

• I2AwAオープンドメイン認識ベンチマークにおいて、BNMはzGCNベースラインに比べ未知カテゴリで19.0%の向上を達成した。
• I2AwAデータセットでは、BNMは全体の正確度で13.3%の向上、zGCNに比べ平均で15.2%の向上を達成した。
• I2AwAデータセットでは、最先端のUODTN手法に比べ4.8%の向上を示し、複雑なアーキテクチャ要因なしに有効性を実証した。
• BNMではトレーニング中に未知カテゴリの予測割合が増加する傾向を示しており、多様性の持続が確認された。一方、エントロピー最小化ではこの割合が著しく低下した。
• BNMはトレーニング全期間にわたり、既知カテゴリおよび未知カテゴリの両方で高い正確度を維持し、すべての指標でEntMinおよびバランス制約を上回った。
• パラメータ感度分析の結果、BNMはさまざまなλ値に対して安定しており、一貫性のある比較のためλ = 2が使用された。