[論文レビュー] Extrapolating Expected Accuracies for Large Multi-Class Problems

Charles Zheng, Rakesh Achanta+1 more|arXiv (Cornell University)|Dec 27, 2017

Domain Adaptation and Few-Shot Learning参考文献 16被引用数 3

ひとこと要約

本稿では、小規模なkの訓練データから得られる識別性分布の( k−1 )次モーメントとして期待分類精度をモデル化することにより、大規模な多クラス問題における予想分類精度を外挿する手法を提案する。このアプローチにより、i.i.d.クラス抽出と分類器の独立性の仮定の下で、より大きなラベル集合における性能をバイアスのない予測が可能となり、顔認識およびOCRタスクで最先端の精度外挿性能が実証された。

ABSTRACT

The difficulty of multi-class classification generally increases with the number of classes. Using data from a subset of the classes, can we predict how well a classifier will scale with an increased number of classes? Under the assumptions that the classes are sampled identically and independently from a population, and that the classifier is based on independently learned scoring functions, we show that the expected accuracy when the classifier is trained on k classes is the (k-1)st moment of a certain distribution that can be estimated from data. We present an unbiased estimation method based on the theory, and demonstrate its application on a facial recognition example.

研究の動機と目的

• i.i.d.クラス抽出とスコア関数の独立性の仮定の下で、観測された小規模なサブセットでの性能に基づき、未観測の大きなラベル集合における分類器の期待一般化精度を予測すること。
• i.i.d.クラス抽出と独立スコア関数の仮定の下で、分類器の精度とラベル集合サイズkとの関係を形式化すること。
• 再訓練を全ラベル集合で行わずに、小規模なkからのみのデータを用いて、より大きなkにおける期待精度をバイアスのない推定手順で得ること。
• 顔認識やテルグーオリジナル認識といった実世界の多クラス問題において、この手法を検証し、さまざまな分類器にわたる頑健性を示すこと。

提案手法

• 分類器のスコア関数とデータ分布に基づき導出される識別性分布D(u)の( k−1 )次モーメントとして、kクラスにおける期待精度をモデル化する。
• クラスが母集団分布πからi.i.d.に抽出され、各クラスごとに分類器が独立に訓練されると仮定し、個々のクラス性能の条件付き解析を可能にする。
• 小規模kの訓練データから得られる経験的データを用いて、スプラインに基づくスムージングによる非パラメトリック推定により識別性関数D(u)を推定する。
• 推定されたD(u)を用いて高次モーメントを計算し、それらがより大きなkにおける期待精度に対応することを示し、未観測のk2 > k1における外挿を可能にする。
• 理論的モーメント式に基づくバイアスの小さい性能予測を実現するための不偏推定アルゴリズムを実装する。
• 顔認識およびテルグーオリジナル認識データセットにおいて、複数の分類器（SVM、ロジスティック回帰、深層畳み込みニューラルネットワーク）を用いたリサンプリングおよび交差検証により、手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 i.i.d.クラス抽出の仮定の下で、小規模なサンプルサブセットでの性能から、大規模ラベル集合における期待分類精度を予測できるか？
• RQ2 期待精度はラベル集合サイズkの増加に伴いどのように変化するか？ そのスケーリングは数学的に特徴付けられるか？
• RQ3 限られた訓練データから識別性分布の( k−1 )次モーメントを推定する理論的根拠は何か？
• RQ4 KDE-BCV や KDE-UCV といった既存の外挿手法と比較して、本手法の精度とバイアスはどのように異なるか？
• RQ5 本手法は、顔認識やOCRといった異なる分類器や実世界の多クラスタスクに、どの程度一般化可能か？

主な発見

• kクラスにおける期待精度は、小規模kの訓練データから推定可能な識別性分布D(u)の( k−1 )次モーメントと数学的に等価である。
• 提案手法ClassExRegは、深層畳み込みニューラルネットワークおよびSVMでは、20対100および100対400の外挿において真値に最も近い一致を達成し、ロジスティック回帰ではKDE-BCVと同等または優れた性能を示した。
• 20対400の外挿（比20）において、ClassExRegは全分類器で他の手法を上回るか同等の性能を示したが、小規模な訓練データのため性能のばらつきが大きかった。
• テルグーオリジナル認識データセットでは、深層畳み込みニューラルネットワークを用いて100から400クラスに外挿した際、ClassExRegは0.9837の精度を予測し、真値の0.9860に近く、非常に高い精度を達成した。
• 理論的仮定のもとで本手法はバイアスがなく、再訓練を全kで行わずとも高次モーメントを効率的に計算可能である。
• 本手法は多様な分類器およびデータセットに対して頑健であり、コードはhttps://github.com/snarles/ClassExに公開されている。