[論文レビュー] N-ary Error Correcting Coding Scheme

Joey Tianyi Zhou, Ivor W. Tsang+2 more|arXiv (Cornell University)|Mar 18, 2016

Face and Expression Recognition参考文献 16被引用数 4

ひとこと要約

本稿では、分割統治戦略を用いて多クラス問題を階層的な多クラス部分問題に分解するN-値誤り訂正出力符号（ECOC）方式を提案する。これにより、符号間の最小距離を大きくし、より識別的な符号化が可能になる。この手法は、特に細分化されたクラスや高クラス数のデータセット（例：ALOI（1000クラス））において、二値および三値ECOC方式を上回る分類性能を達成する。最適なNは[3,10]の範囲にある。

ABSTRACT

The coding matrix design plays a fundamental role in the prediction performance of the error correcting output codes (ECOC)-based multi-class task. {In many-class classification problems, e.g., fine-grained categorization, it is difficult to distinguish subtle between-class differences under existing coding schemes due to a limited choices of coding values.} In this paper, we investigate whether one can relax existing binary and ternary code design to $N$-ary code design to achieve better classification performance. {In particular, we present a novel $N$-ary coding scheme that decomposes the original multi-class problem into simpler multi-class subproblems, which is similar to applying a divide-and-conquer method.} The two main advantages of such a coding scheme are as follows: (i) the ability to construct more discriminative codes and (ii) the flexibility for the user to select the best $N$ for ECOC-based classification. We show empirically that the optimal $N$ (based on classification performance) lies in $[3, 10]$ with some trade-off in computational cost. Moreover, we provide theoretical insights on the dependency of the generalization error bound of an $N$-ary ECOC on the average base classifier generalization error and the minimum distance between any two codes constructed. Extensive experimental results on benchmark multi-class datasets show that the proposed coding scheme achieves superior prediction performance over the state-of-the-art coding methods.

研究の動機と目的

• 微細なクラス差や高次元の多クラス問題において、従来の二値および三値ECOC符号化方式の限界を解消すること。
• 従来のECOCで制限を受ける符号値空間を克服し、符号間の最小距離を拡大することで、誤り訂正能力を向上させること。
• 与えられたデータセットに対して分類性能を最大化するため、最適なN（符号値の数）を柔軟に選択可能にする。
• 多クラス問題をより小さな多クラス部分問題に階層的に分解することで、最小距離が大きい符号を構築し、ECOCの識別力を向上させること。
• ベース分類器に依存しない理論的根拠に基づく一般化誤差の上限を提示すること。

提案手法

• 各レベルで元の多クラス問題をより小さな多クラス部分問題に再帰的に分割する階層的N-値符号化方式を提案。これは分割統治戦略に類似している。
• 木構造による分解を通じて、各クラスにN-値符号（0からN−1の値）を割り当てることで符号行列を構築。各内部ノードはメタクラスをN個のサブメタクラスに分割する。
• 符号行間の最小距離Δ_min(M)を大きくするために、符号間の分離を最大化するように階層的分割プロセスを最適化する。
• 平均ベース分類器誤差と最小符号距離に依存する、ベース分類器に依存しない一般化誤差の上限を用いることで、理論的分析を可能にする。
• 標準的な多クラス分類器（例：M-SVM、M-CART）を部分問題に適用し、並列処理とスケーラビリティを実現する。
• 分類性能と計算コストのトレードオフを考慮し、実験的評価を通じて各データセットにおける最適なNを選択する。

実験結果

リサーチクエスチョン

• RQ1 二値および三値符号からN-値符号に拡張することで、微細なクラス差や高クラス数のデータセットにおける分類性能が著しく向上するか？
• RQ2 N-値ECOCの分類精度を最適化するための最適なNの値は何か？また、計算コストとどのようにトレードオフするか？
• RQ3 多クラス問題をより小さな多クラス部分問題に階層的に分解することで、従来の二値または三値ECOCと比較して、より識別的な符号が得られるか？
• RQ4 N-値符号行列における符号行間の最小距離が、ECOCシステムの一般化誤差にどのように影響するか？
• RQ5 提案されたN-値ECOC方式は、従来のECOC手法および直接的な多クラス分類アルゴリズムを上回る性能を、ベンチマークデータセットで示せるか？

主な発見

• 提案されたN-値ECOC方式は、ベンチマークデータセットにおいて優れた分類性能を達成しており、特に1000クラスのALOIデータセットで顕著な改善が見られた。
• ALOIデータセットでは、N=5のとき最小距離Δ_min(M)が741に達したが、二値および三値符号では非常に小さく、あるいは0の最小距離に留まり、分離性が低いことが示された。
• 分類性能の最適なNは[3,10]の範囲にあり、複数のデータセットで二値および三値ECOCを常に上回る実験的結果が得られた。
• Pendigitsデータセットでは、全体の正答率が同等であっても、N-値ECOCは最大分類誤差を二値および三値符号よりも低減した。
• 決定木分類器の性能は、News20やSectorといった高次元データセットで顕著に向上した。直接的な多クラス決定木では、複雑な木構造のため失敗するが、本手法ではその問題を克服した。
• N-値ECOCの一般化誤差の上限が理論的に導出され、平均ベース分類器誤差と最小符号距離に依存することが示された。これにより、性能向上の理論的裏付けが得られた。