[論文レビュー] Cross-Domain Few-Shot Learning by Representation Fusion

Thomas Adler, J. Brandstetter+6 more|arXiv (Cornell University)|Oct 13, 2020

Domain Adaptation and Few-Shot Learning参考文献 94被引用数 23

ひとこと要約

本稿では、深層ニューラルネットワーク内の複数の抽象化レベルからの表現を、ヘブ型学習者アーカイブのアンサンブルを用いて融合するCHEFという、クロスドメイン少数-shot学習手法を提案する。バックボーンを逆誤差伝搬させることなく低レベルおよび高レベルの特徴を活用することで、大きなドメインシフトが生じるベンチマークにおいて最先端の性能を達成し、実世界のドラッグディスcovery毒性予測タスクにおいて従来手法を著しく上回る。

ABSTRACT

In order to quickly adapt to new data, few-shot learning aims at learning from few examples, often by using already acquired knowledge. The new data often differs from the previously seen data due to a domain shift, that is, a change of the input-target distribution. While several methods perform well on small domain shifts like new target classes with similar inputs, larger domain shifts are still challenging. Large domain shifts may result in high-level concepts that are not shared between the original and the new domain, whereas low-level concepts like edges in images might still be shared and useful. For cross-domain few-shot learning, we suggest representation fusion to unify different abstraction levels of a deep neural network into one representation. We propose Cross-domain Hebbian Ensemble Few-shot learning (CHEF), which achieves representation fusion by an ensemble of Hebbian learners acting on different layers of a deep neural network. Ablation studies show that representation fusion is a decisive factor to boost cross-domain few-shot learning. On the few-shot datasets miniImagenet and tieredImagenet with small domain shifts, CHEF is competitive with state-of-the-art methods. On cross-domain few-shot benchmark challenges with larger domain shifts, CHEF establishes novel state-of-the-art results in all categories. We further apply CHEF on a real-world cross-domain application in drug discovery. We consider a domain shift from bioactive molecules to environmental chemicals and drugs with twelve associated toxicity prediction tasks. On these tasks, that are highly relevant for computational drug discovery, CHEF significantly outperforms all its competitors. Github: https://github.com/ml-jku/chef

研究の動機と目的

• ソースドメインとターゲットドメインの間で高レベルの概念が異なるが、低レベルの特徴（例：エッジ、テクスチャ）が共有されるという、少数-shot学習における大きなドメインシフトの課題に対処すること。
• 特にデータプライバシーまたは知的財産権制限がある状況下でも、元の学習データにアクセスできない状況においても、事前学習済みモデルを効果的に活用できる手法の開発。
• 深層ニューラルネットワークからの複数レベルの抽象化を統合し、ドメインをまたいで一般化性能を向上させる、一元化された強固な表現を統合すること。
• 特にラベル付きデータが限られた実世界の応用、特に計算科学的ドラッグディスcoveryにおける表現融合の有効性を実証すること。

提案手法

• CHEFは、事前学習済み深層ニューラルネットワークの異なる層に学習されたヘブ型学習者のアンサンブルを用いて、複数の抽象化レベルからの表現を抽出・統合する。
• 表現統合は、特にボトルネック層を含む複数の層からの特徴を統合し、低レベルおよび高レベルの意味的特徴を捉えた一元化された表現を生成する。
• ヘブ型学習者は、バックボーンを逆誤差伝搬させることなく、高速かつ適応的に学習されるため、新しいドメインへの効率的な適応が可能である。
• 本手法は、標準的な少数-shotベンチマーク（mini-ImageNet、tiered-ImageNet）および実世界のクロスドメインタスク（例：ドラッグディスcoveryにおける毒性予測）の両方へ適用される。
• 分子データに対しては、ChEMBL20で事前学習された全結合ネットワークを、Tox21データ上で表現統合によりファインチューニングし、ECFP6フィンガープrintを入力特徴として用いる。
• 性能評価は、12の毒性予測タスクにおけるROC-AUCを用い、100回のランダムな訓練/テスト分割を実施して妥当性を確保する。

実験結果

リサーチクエスチョン

• RQ1 複数の抽象化レベルにまたがる表現統合は、大きなドメインシフト下でも少数-shot一般化性能を向上させることができるか？
• RQ2 異なるネットワーク層にヘブ型学習者を適用することで、バックボーンのファインチューニングなしに効果的なクロスドメイン適応が可能になるか？
• RQ3 ドメインシフトの深刻度が増すベンチマークにおいて、CHEFはSOTA手法と比較してどのように性能を示すか？
• RQ4 CHEFは、ラベル付きデータが限られた実世界の高影響度応用、特に毒性予測タスクに一般化可能か？

主な発見

• CHEFは、クロスドメイン少数-shot学習ベンチマークのすべてのカテゴリで、特に大きなドメインシフト下で、新たなSOTAを達成した。
• Tox21 Data Challengeでは、12の毒性予測タスクにおける平均ROC-AUCが0.76 ± 0.02を達成し、SVM（0.66 ± 0.03）およびランダムフォレスト（0.64 ± 0.03）を著しく上回り、ペアドウィルコクソン検定でp < 10^-17の有意差を示した。
• アブレーションスタディにより、特に高レベルの概念が共有されないドメインシフト状況においても、表現統合が性能向上の決定的要因であることが確認された。
• CHEFは、ChEMBL20とTox21データセット間で顕著な入力およびラベル分布のシフトが生じる実世界のドラッグディスcoveryタスクに対しても、効果的に適応した。分子構造のジャカード係数は0.01であった。
• 本手法はバックボーンネットワークを逆誤差伝搬させないため、高速かつ効率的な適応が可能でありながら、高い性能を維持した。