[論文レビュー] Multi-Domain Adversarial Learning

Alice Schoenauer-Sebag, Louise Heinrich+4 more|arXiv (Cornell University)|Mar 21, 2019

Cell Image Analysis Techniques被引用数 23

ひとこと要約

本稿では、重複するが同一でないクラス集合と異なるラベルの可用性を示すデータセット間で、頑健なモデル一般化を可能にする、半教師ありマルチドメイン学習に拡張されたドメイン adversarial ニューラルネットワークを拡張したマルチドメイン adversarial ラーニングフレームワーク MuLann を提案する。平均的および最悪のドメインリスクを最小化するための新しい損失関数と H-発散を用いた理論的境界を導入し、画像ベンチマークおよび新規のバイオイメージングデータセット Cell で最先端の性能を達成する。

ABSTRACT

Multi-domain learning (MDL) aims at obtaining a model with minimal average risk across multiple domains. Our empirical motivation is automated microscopy data, where cultured cells are imaged after being exposed to known and unknown chemical perturbations, and each dataset displays significant experimental bias. This paper presents a multi-domain adversarial learning approach, MuLANN, to leverage multiple datasets with overlapping but distinct class sets, in a semi-supervised setting. Our contributions include: i) a bound on the average- and worst-domain risk in MDL, obtained using the H-divergence; ii) a new loss to accommodate semi-supervised multi-domain learning and domain adaptation; iii) the experimental validation of the approach, improving on the state of the art on two standard image benchmarks, and a novel bioimage dataset, Cell.

研究の動機と目的

• 異なる実験的バイアスと不完全なクラスカバレッジを示す複数の生物学的イメージングデータセット間で、頑健なモデルを学習する課題に対処すること。
• 半教師あり学習を組み合わせたマルチドメイン設定にドメイン adversarial ラーニングを拡張し、各ドメインにおけるラベル付きおよびラベルなし例の数が異なる状況に対応すること。
• H-発散を用いた平均的および最悪ドメインリスクの理論的境界を確立し、すべてのドメイン間でのモデル一般化を保証すること。
• クラス非対称性に対処し、最小限のラベル付きデータでドメイン間の知識移行を可能にする新しい損失関数の設計。
• 標準的な画像ベンチマークおよび新規のバイオイメージングデータセット Cell における実験的検証を通し、最先端の手法を上回る性能を示すこと。

提案手法

• ドメイン adversarial ニューラルネットワーク（DANN）を拡張し、勾配反転層とドメイン識別器を導入することで、複数のドメイン間での特徴分布の整合性を図る。
• 異なるクラス構成を持つドメイン間でラベルなしデータを活用できる、マルチドメイン設定における半教師あり学習を対象とした新しい損失関数を提案する。
• 既知のクラスと未知のクラスを区別する知識識別器を導入し、クラス非対称性に対するモデルの頑健性を向上させる。
• H-発散を用いて平均的および最悪ドメインリスクの理論的境界を設定し、すべてのドメイン間での一般化を保証する。
• 共有の特徴抽出器、ドメイン識別器、タスク固有のヘッドを含むアーキテクチャを採用し、ドメイン不変表現を促進するために勾配反転層を用いる。
• ハイパーパramータチューニングは、ラーニングレート、lambda（ドメイン整合性重み）、zeta（クラス不均衡重み）について交差検証を用い、指数関数的スケジュールを適用する。

実験結果

リサーチクエスチョン

• RQ1 重複するが同一でないクラス集合を持つ複数のドメイン間で、統一されたモデルを学習可能であり、平均的および最悪のリスクが低くなるか？
• RQ2 クラス非対称性を伴う半教師ありマルチドメイン学習に、ドメイン adversarial ラーニングをどのように拡張できるか？
• RQ3 H-発散を用いたモデルのリスクに対する理論的保証は、複数ドメインで学習された場合にどのように得られるか？
• RQ4 ラベル付きデータが不足または不均衡なドメイン間で、提案された損失関数は性能をどのように向上させるか？
• RQ5 MuLann は、実世界のバイオイメージングおよび標準的な画像ベンチマークで、既存の手法をどの程度上回るか？

主な発見

• MuLann は、3つの標準的画像ベンチマーク（Digits、Signs、Office）において、半教師ありドメイン適応の分野で最先端の手法を顕著に上回り、Webcam→Amazon タスクで 54.5% の精度を達成した。これは DANN の 57.5% や MADA の 37.5% よりも優れている。
• 新規のバイオイメージングデータセット Cell において、MuLann は C-T シフト（C および T ドメインの統合）で 89.3% の精度を達成し、ベースラインの NN（91.4%）と DANN（87.0%）を上回った。非完全な伝達設定下で顕著な性能向上を示した。
• T-unlab. 設定（ラベルなし T ドメイン）では、MuLann は 77.7% の精度を達成し、DANN（61.4%）や MADA（56.2%）を著しく上回った。クラス不均衡およびラベルなしデータの不足に対する頑健性を示した。
• t-SNE ビジュアライゼーションの結果、MuLann はより分離され、ドメイン不変な特徴空間を学習しており、あるドメインのラベルなし例が、別のドメインの同じクラスのラベル付き例に近づいていることが確認された。
• アブレーションスタディの結果、提案された損失関数およびハイパーパramータ設定は頑健であり、特定のクラスにラベルなしデータが存在しない場合でも、性能に顕著な低下が見られなかった。
• H-発散を用いた理論的境界は、最悪ドメインリスクを効果的に制御し、特定のドメインが全体のモデル性能を悪化させないことを保証した。