[論文レビュー] A Novel ECOC Algorithm with Centroid Distance Based Soft Coding Scheme

Kaijie Feng, Kunhong Liu+1 more|arXiv (Cornell University)|Jun 22, 2018

Face and Expression Recognition参考文献 13被引用数 5

ひとこと要約

本稿では、クラスのカバレッジ確率に基づくセンタロイド距離に基づくソフトコーディング方式を用いた、新しいECOCアルゴリズムCSECOCを提案する。ハードトライアリコードをクラスカバレッジ確率から導出されたソフト値に置き換えることで、回帰器をベースラーナーとして用いることで、UCIデータセットにおいてより小さなアンサンブルで競争力のある精度を達成する。これはECOCフレームワークにおけるソフトコーディングの初の適用である。

ABSTRACT

In ECOC framework, the ternary coding strategy is widely deployed in coding process. It relabels classes with {"-1,0,1" }, where -1/1 means to assign the corresponding classes to the negative/positive group, and label 0 leads to ignore the corresponding classes in the training process. However, the application of hard labels may lose some information about the tendency of class distributions. Instead, we propose a Centroid distance-based Soft coding scheme to indicate such tendency, named as CSECOC. In our algorithm, Sequential Forward Floating Selection (SFFS) is applied to search an optimal class assignment by minimizing the ratio of intra-group and inter-group distance. In this way, a hard coding matrix is generated initially. Then we propose a measure, named as coverage, to describe the probability of a sample in a class falling to a correct group. The coverage of a class a group replace the corresponding hard element, so as to form a soft coding matrix. Compared with the hard ones, such soft elements can reflect the tendency of a class belonging to positive or negative group. Instead of classifiers, regressors are used as base learners in this algorithm. To the best of our knowledge, it is the first time that soft coding scheme has been proposed. The results on five UCI datasets show that compared with some state-of-art ECOC algorithms, our algorithm can produce comparable or better classification accuracy with small scale ensembles.

研究の動機と目的

• 従来のECOCハードコーディングにおける情報損失を是正し、クラス分布の傾向を捉えること。
• クラスが正または負のグループに属する確率を反映するソフトコーディング方式を開発すること。
• 分類器の代わりに回帰器をベースラーナーとしてECOCに用いることで性能を向上させること。
• 最適なクラス割り当てを得るために、逐次前向きフローティング選択法（SFFS）を用いてグループ内距離とグループ間距離の比率を最小化すること。
• ベンチマークデータセット上で提案手法を評価し、最先端のECOCアルゴリズムと比較すること。

提案手法

• グループ内距離とグループ間距離の比率を最小化するように、逐次前向きフローティング選択法（SFFS）を適用し、初期ハードコーディング行列を生成する。
• サンプルが正しいグループに属する確率を推定するためのカバレッジ測度を定義する。
• ハードコーディング要素{-1, 0, 1}をカバレッジ測度から導出されたソフト値に置き換え、ソフトコーディング行列を構築する。
• 分類器の代わりに回帰器をベースラーナーとして用い、各コーディンググループのソフト出力を予測する。
• 多数決投票または重み付き平均化戦略を用いて回帰器の予測値を統合し、最終アンサンブルを構築する。
• 一般化性能を向上させるために、グループ分離度とクラスカバレッジのバランスを最適化することでコーディング方式を最適化する。

実験結果

リサーチクエスチョン

• RQ1 センタロイド距離とカバレッジに基づくソフトコーディングは、ハードコーディングに比べてECOCの性能を向上させることができるか？
• RQ2 ECOCにおける分類器の代わりに回帰器を用いることで、分類精度が向上するか？
• RQ3 SFFSに基づくハードコーディング生成に続くソフトコーディングの最適化により、優れた結果が得られるか？
• RQ4 提案手法は、最先端のECOCアルゴリズムと比較して、精度とアンサンブルサイズの両面で優れているか？
• RQ5 ソフトコーディング方式は、ハードコーディングで失われたクラス分布の傾向をどの程度保持しているか？

主な発見

• 提案されたCSECOCアルゴリズムは、5つのUCIデータセットにおいて、最先端のECOC手法と同等またはそれ以上の分類精度を達成した。
• カバレッジ確率に基づくソフトコーディングの使用により、ハードコーディングで失われたクラス分布の傾向を効果的に捉えることができた。
• 回帰器をベースラーナーとして用いることで性能が向上し、ECOCフレームワークにおける画期的なアプローチとなった。
• 本手法は、より小さなアンサンブルサイズで高い精度を維持しており、モデルの複雑さの面で効率的であることが示された。
• SFFSに基づくハードコーディング生成に続くソフトコーディングの最適化により、より良いグループ分離と分類性能が得られた。
• 実験結果から、ソフトコーディングが各グループにおけるクラス所属の可能性を反映することで、一般化性能が向上することが明らかになった。