[論文レビュー] Fast Single-Class Classification and the Principle of Logit Separation

Gil Keren, Sivan Sabato+1 more|arXiv (Cornell University)|May 29, 2017

Domain Adaptation and Few-Shot Learning参考文献 30被引用数 3

ひとこと要約

この論文は、推論を高速化するために、ニューラルネットワークを、分類のためのロジットを1つのターゲットクラスのもののみで学習させるSingle Logit Classification (SLC)タスクを導入する。また、損失関数の設計指針としてLogit Separationの原則（PoLS）を提案し、PoLSに整合する損失関数は、交差エントロピーと比較して相対的に20%以上の精度向上を達成するとともに、400,000クラスの設定で最大10倍の高速化を実現することを示している。

ABSTRACT

We consider neural network training, in applications in which there are many possible classes, but at test-time, the task is a binary classification task of determining whether the given example belongs to a specific class, where the class of interest can be different each time the classifier is applied. For instance, this is the case for real-time image search. We define the Single Logit Classification (SLC) task: training the network so that at test-time, it would be possible to accurately identify whether the example belongs to a given class in a computationally efficient manner, based only on the output logit for this class. We propose a natural principle, the Principle of Logit Separation, as a guideline for choosing and designing losses suitable for the SLC. We show that the cross-entropy loss function is not aligned with the Principle of Logit Separation. In contrast, there are known loss functions, as well as novel batch loss functions that we propose, which are aligned with this principle. In total, we study seven loss functions. Our experiments show that indeed in almost all cases, losses that are aligned with the Principle of Logit Separation obtain at least 20% relative accuracy improvement in the SLC task compared to losses that are not aligned with it, and sometimes considerably more. Furthermore, we show that fast SLC does not cause any drop in binary classification accuracy, compared to standard classification in which all logits are computed, and yields a speedup which grows with the number of classes. For instance, we demonstrate a 10x speedup when the number of classes is 400,000. Tensorflow code for optimizing the new batch losses is publicly available at https://github.com/cruvadom/Logit Separation.

研究の動機と目的

• 非常に多くのクラスを有するニューラルネットワークにおける推論の計算コストの高さに取り組むこと、特にテスト時に1つのクラスのみが照会される状況を想定する。
• ターゲットクラスのロジットのみが分類精度を決定するようにモデルを学習させることで、高速な1ロジット推論を可能にすること。
• 正しく分類されたクラスのロジットが誤りクラスのロジットから意味的に分離されていることを保証する根本的な原則「ロジット分離」を特定すること。
• ロジット分離の原則に整合する損失関数を設計・評価し、標準的な交差エントロピーと比較してSLC性能を向上させること。

提案手法

• テスト時に照会されるクラスのロジットのみを計算するSingle Logit Classification (SLC)タスクを提案する。
• 正しく分類されたクラスのロジットが誤りクラスのロジットよりも顕著に高いことを要件とする、ロジット分離の原則（PoLS）を導入する。
• 標準的な交差エントロピーと新規のバッチ損失関数を含む7つの損失関数を、PoLSへの整合性について分析する。
• 各ミニバッチ内で正しく分類されたロジットが誤りクラスのロジットを支配するように保証することで、PoLSを強制するバッチ損失関数（例：バッチ交差エントロピー、バッチマックスマージン）を定義する。
• 理論的分析により、PoLSに整合する損失関数は、損失が低くなる極限において、正しく分類されたクラスのロジットと誤りクラスのロジットが分離されることを証明する。
• KLダイバージェンスとマージン制約に基づく理論的枠組みを用いて、分離条件を形式化する。

実験結果

リサーチクエスチョン

• RQ1 1つのクラスのロジットのみが、その例がそのクラスに属するかどうかを決定するように、ニューラルネットワークを学習させることは可能か？
• RQ2 標準的な交差エントロピー損失は、広く使用されているにもかかわらず、なぜSLC設定では失敗するのか？
• RQ3 1つのクラスのロジットが分類に意味を持つようにするための損失関数の設計を導く根本的な原則は何か？
• RQ4 すべてのクラスにわたるロジット分離を強制するように、バッチベースの損失関数を構築することは可能か？
• RQ5 PoLSに整合する損失関数は、SLCの精度と推論速度にどのような実証的影響を与えるか？

主な発見

• PoLSに整合する損失関数は、交差エントロピーと比較して、SLC精度を相対的に20%以上向上させる。
• 交差エントロピー損失はPoLSに整合しない。なぜなら、正しく分類されたクラスのロジットと誤りクラスのロジットとの間に十分な分離を保証しないからである。
• 新規のバッチ損失関数（バッチ交差エントロピー、バッチマックスマージン）はPoLSに整合することが証明され、標準的な交差エントロピーを上回る性能を示した。
• 400,000クラスの設定では、提案されたSLC手法により、フルソフトマックス推論と比較して推論時間が10倍高速化された。
• SLCアプローチは、標準的なフルクラス分類学習と同等のバイナリ分類精度を維持しており、性能の低下がない。
• 理論的分析により、PoLSに整合する損失関数は、ロジット空間において正しく分類されたクラスのロジットと誤りクラスのロジットを厳密に分離することを保証することが確認された。