[論文レビュー] Latent Domain Learning with Dynamic Residual Adapters

Lucas Deecke, Timothy M. Hospedales+1 more|arXiv (Cornell University)|Jun 1, 2020

Domain Adaptation and Few-Shot Learning参考文献 36被引用数 4

ひとこと要約

本論文では、ドメインラベルを必要とせず、複数の未知ドメインに適応的に特徴補正を分散する潜在ドメイン学習のための方法として、Dynamic Residual Adapters (DRA) を提案する。入力コンテンツに基づいて残留更新を動的にルーティングする学習可能なゲーティング機構を用いることで、DRA は小規模および大規模ドメインの両方で頑健な性能を達成し、マルチドメイン画像分類タスクにおいて、標準モデルおよびドメイン監督ベースラインを上回る性能を発揮する。

ABSTRACT

A practical shortcoming of deep neural networks is their specialization to a single task and domain. While recent techniques in domain adaptation and multi-domain learning enable the learning of more domain-agnostic features, their success relies on the presence of domain labels, typically requiring manual annotation and careful curation of datasets. Here we focus on a less explored, but more realistic case: learning from data from multiple domains, without access to domain annotations. In this scenario, standard model training leads to the overfitting of large domains, while disregarding smaller ones. We address this limitation via dynamic residual adapters, an adaptive gating mechanism that helps account for latent domains, coupled with an augmentation strategy inspired by recent style transfer techniques. Our proposed approach is examined on image classification tasks containing multiple latent domains, and we showcase its ability to obtain robust performance across these. Dynamic residual adapters significantly outperform off-the-shelf networks with much larger capacity, and can be incorporated seamlessly with existing architectures in an end-to-end manner.

研究の動機と目的

• ドメインラベルが利用できない状況において、マルチドメイン学習で大規模ドメインに過学習する問題に対処すること。
• 手動で整備されたドメインラベルに依存せずに、複数の潜在ドメインにわたる頑健で一般化可能な特徴を学習できるように深層ネットワークを可能にすること。
• 既存アーキテクチャにシームレスに統合可能で、エンドツーエンド学習が可能な効率的かつプラグアンドプレイなモジュールを開発すること。

提案手法

• 入力特徴に基づいて、入力コンテンツに応じて残留補正を異なるドメインに動的に割り当てる学習可能なゲーティング機構である Dynamic Residual Adapters (DRA) を導入する。
• 各レイヤーが入力コンテンツに応じて複数の残留パスを適応的に活性化できる微分可能ルーティング機構を用いる。
• ゲート $ g_k $ が各パスの寄与度を決定する学習可能なパラメータ $ h_{\alpha_k} $ を持つ残留アダプタモジュールを採用する。
• 一般化性能およびドメインのロバストネスを向上させるために、スタイル変換にインspiredした増強戦略を採用する。
• エンドツーエンドでモデルを訓練することで、特徴抽出とドメインに敏感なルーティングの共同最適化を可能にする。
• レイヤー間でのアクティベーションパスの可視化により、意味的に類似したドメイン（例：写真とアートパレット）が類似したゲートパターンを活性化することが示された。

実験結果

リサーチクエスチョン

• RQ1 ドメインラベルにアクセスできない状況でも、深層ネットワークが複数の潜在ドメインに一般化して学習できるか？
• RQ2 小規模で代表されていないドメインの性能を維持しながら、大規模ドメインに過学習を避けるにはどうすればよいか？
• RQ3 動的で適応的なルーティング機構は、固定されたドメイン監督ルーティングを上回ることができるか？
• RQ4 学習されたゲートパスは、ドメイン間の意味的類似性をどの程度反映しているか？
• RQ5 ドメインラベルが利用可能であっても、提案手法はドメイン監督アプローチを上回るか？

主な発見

• Visual Decathlonベンチマークにおいて、DRAモデルは重み付き平均正解率87.01％を達成し、標準的なジョイントモデルよりも2.69ポイント高い性能を発揮した。
• PACSデータセットでは、後続のドメイン監督モデルですら、DRAが上回った。
• 小規模ドメインにおける性能低下を軽減した：例えば、航空機分類の正解率はジョイントモデルと比較して20.59％向上した。
• アクティベーションパスの可視化により、意味的に類似したドメイン（例：写真とアートパレット）がゲートアクティベーション空間でクラスタを形成することが示された。
• 大規模ドメインでも高い性能を維持しながら、小規模ドメインでの性能を顕著に向上させたことから、効果的なドメインバランスが実現された。
• Gumbel-softmaxを用いて離散的ゲート割り当てを強制した場合、性能が低下した。これは、ソフトで動的なルーティングが、ハードクラスタリングよりも効果的であることを確認した。