[論文レビュー] Collaborative Training of Balanced Random Forests for Open Set Domain Adaptation

Jongbin Ryu, Jiun Bae+1 more|arXiv (Cornell University)|Feb 10, 2020

Domain Adaptation and Few-Shot Learning参考文献 46被引用数 8

ひとこと要約

本稿では、ノイズ多発、小規模、または不整合なデータ下で、オープンセットドメイン適応において頑健性を向上させるために、バランスの取れたランダムフォレストのための共同学習アルゴリズムCoBRFを提案する。決定木におけるSVMベースの超平面を用いた均等な分割を強制し、敵対的学習によってドメイン情報ゲインを最小化することで、過学習を低減し一般化性能を向上させ、Office-31、Office-Home、ImageCLEF-DAにおいて、最大80%のラベルノイズおよび10%の訓練データという厳しいプロトコル下で最先端の性能を達成する。

ABSTRACT

In this paper, we introduce a collaborative training algorithm of balanced random forests with convolutional neural networks for domain adaptation tasks. In real scenarios, most domain adaptation algorithms face the challenges from noisy, insufficient training data and open set categorization. In such cases, conventional methods suffer from overfitting and fail to successfully transfer the knowledge of the source to the target domain. To address these issues, the following two techniques are proposed. First, we introduce the optimized decision tree construction method with convolutional neural networks, in which the data at each node are split into equal sizes while maximizing the information gain. It generates balanced decision trees on deep features because of the even-split constraint, which contributes to enhanced discrimination power and reduced overfitting problem. Second, to tackle the domain misalignment problem, we propose the domain alignment loss which penalizes uneven splits of the source and target domain data. By collaboratively optimizing the information gain of the labeled source data as well as the entropy of unlabeled target data distributions, the proposed CoBRF algorithm achieves significantly better performance than the state-of-the-art methods.

研究の動機と目的

• 訓練データがノイズ多発または小規模な場合にドメイン適応において過学習を緩和すること。
• ソースドメインとターゲットドメイン間に未知または不整合なクラスが存在するオープンセットドメイン適応において一般化性能を向上させること。
• 均等分割制約を用いてよりバランスの取れた意思決定木を構築することで、ランダムフォレストの判別能力を強化すること。
• ターゲットラベルに依存せずに、ドメイン分布をアライメントさせること。敵対的ドメイン情報ゲイン最小化を用いる。

提案手法

• 各ノードで等しいサイズの分割を強制しつつ情報ゲインを最大化するバランスの取れた意思決定木の構築法を提案。これにより木の表現力が向上し、過学習が低減する。
• 線形SVMを用い、二値の偽ラベルを生成することで判別性の高い超平面を特定。その後、それらを変換して均等な分割を達成し、バランスの取れた木構造を保証する。
• ソースドメインとターゲットドメインのデータ間の情報ゲインを最小化するドメインアライメント損失を導入。これによりターゲットドメインでも均等な分割が促進される。
• ラベル付きソースデータのためのクラス情報ゲイン最大化と、ラベルなしターゲットデータのためのドメイン情報ゲイン最小化を統合した共同最適化フレームワークを組み合わせる。
• ドメインアライメントを敵対的学習として扱い、ソースとターゲットドメインのラベル間の相互情報量を最小化することで、共有された特徴分布を促進する。
• 二段階の訓練プロセスを採用：第一段階ではラベル付きソースデータを用いてバランスの取れた木を構築。第二段階では、ラベルなしターゲットデータを用いて共同最適化によりドメインアライメントを強制する。

実験結果

リサーチクエスチョン

• RQ1 意思決定木における均等な分割を強制することで、小規模またはノイズ多発な訓練データ環境下で一般化性能が向上し、過学習が低減するか？
• RQ2 ターゲットラベルが入手不可な状況下で、提案されたドメインアライメント損失はドメインシフトをどれほど効果的に緩和できるか？
• RQ3 バランスの取れたランダムフォレストの共同学習は、標準のランダムフォレストや最先端のドメイン適応手法に比べ、オープンセット環境下で優れた性能を示すか？
• RQ4 極端なデータ不足（例：10%の訓練データ）および高レベルのラベルノイズ（例：80%）下で、本手法はどのように性能を発揮するか？

主な発見

• ResNet-50を用いたOffice-31データセットにおいて40%のラベルノイズ下で、CoBRFはDAN、JAN、CDAN+Eを含むすべての比較手法の中で最高の平均精度を達成した。
• 80%のラベルノイズ下でも、CoBRFはベースライン手法に比べて最大の性能向上を示し、重度のデータ劣化に対して強い頑健性を確認した。
• 訓練データを10%に制限した状況でも、CoBRFはOffice-31、Office-Home、ImageCLEF-DAで強力な性能を維持し、過学習に脆弱な環境下で他手法を上回った。
• AlexNetを用いたOpenSet1プロトコルでは、CoBRFは平均83.0%の精度を達成し、以前のSOTA手法（[21]）を1.9ポイント上回った。
• より困難なOpenSet2プロトコル（ResNet-50）では、CoBRFは平均86.1%の精度を達成し、次に優れた手法（CDA）を6.0ポイント上回った。
• 訓練サンプルが合計54件（標準OpenSet2に比べ54.5%少ない）という極めて限られたデータ環境下でも、CoBRF*は平均84.3%の精度を達成し、低データ環境下での頑健性を示した。