[論文レビュー] Branched Multi-Task Networks: Deciding What Layers To Share

Simon Vandenhende, Georgoulis, Stamatios+2 more|arXiv (Cornell University)|Apr 5, 2019

Domain Adaptation and Few-Shot Learning参考文献 25被引用数 8

ひとこと要約

本稿では、表現類似度分析（RSA）を用いてタスクの類縁度を学習することで、分岐型マルチタスクニューラルネットワークを自動的に設計する手法を提案する。パラメータ予算が与えられた場合、ベースラインと比較して高い性能を達成し、共有層のタスク固有の深さを動的に割り当てることで、より少ないパラメータでターゲット精度を達成する。

ABSTRACT

In the context of multi-task learning, neural networks with branched architectures have often been employed to jointly tackle the tasks at hand. Such ramified networks typically start with a number of shared layers, after which different tasks branch out into their own sequence of layers. Understandably, as the number of possible network configurations is combinatorially large, deciding what layers to share and where to branch out becomes cumbersome. Prior works have either relied on ad hoc methods to determine the level of layer sharing, which is suboptimal, or utilized neural architecture search techniques to establish the network design, which is considerably expensive. In this paper, we go beyond these limitations and propose an approach to automatically construct branched multi-task networks, by leveraging the employed tasks' affinities. Given a specific budget, i.e. number of learnable parameters, the proposed approach generates architectures, in which shallow layers are task-agnostic, whereas deeper ones gradually grow more task-specific. Extensive experimental analysis across numerous, diverse multi-tasking datasets shows that, for a given budget, our method consistently yields networks with the highest performance, while for a certain performance threshold it requires the least amount of learnable parameters.

研究の動機と目的

• 分岐型マルチタスクネットワークにおけるどの層を共有すべきかを手動で選択する課題に対処する。これは誤りを起こしやすく、最適でない。
• アドホックな手法や高コストなニューラルアーキテクチャサーチの必要性を排除し、アーキテクチャ設計プロセスを自動化する。
• 測定可能なタスクの関連性に基づいてタスク固有の深さを動的に決定することで、モデルの効率性とパフォーマンスを向上させる。
• 表現類似度に基づくガイドラインに従い、初期層の共有を関連するタスクに限定することで、負の転送を低減する。

提案手法

• 本手法は、ネットワークのさまざまな深さにおける異なるタスクの特徴表現の相関を測定することで、タスクの類縁度スコアを計算する。
• RSAはバックボーンネットワークの複数の層に適用され、保留された画像セットからの特徴を用いてRDM（表現相違マトリクス）行列を計算する。
• タスクの類縁度は、各深さにおけるRDM行列の平均相関として定量化され、異なるタスクの表現がどれほど類似しているかを示す。
• これらの類縁度スコアに基づき、浅い層はすべてのタスクで共有され、より深い層はタスクグループごとに段階的に特化された分岐アーキテクチャが構築される。
• 固定されたパラメータ予算の下でアーキテクチャが最適化され、最小限の冗長性と最大限のパフォーマンスが確保される。
• 最終的なネットワークは、単一タスクモデルと同一のハイパーパrameterを用いて、標準的な最適化手法でエンドツーエンド訓練される。

実験結果

リサーチクエスチョン

• RQ1 複数のタスクにおいて、分岐型マルチタスクネットワークでどの層を共有すべきかを自動的に特定する方法は何か？
• RQ2 表現類似度を用いたタスクの類縁度測定は、固定またはアドホックな分岐戦略と比較して、マルチタスクネットワークのパフォーマンスを向上させられるか？
• RQ3 既存のマルチタスク学習ベースラインと比較して、固定されたパラメータ予算下で本手法がより高い正確性を達成できるか？
• RQ4 ターゲットパフォーマンス閾値に到達するために必要なパラメータ数を削減できるか？

主な発見

• 固定されたパラメータ予算下で、本手法は固定分岐やアドホックな共有戦略を用いたベースラインのマルチタスクネットワークと比較して一貫して高いパフォーマンスを達成する。
• パフォーマンス閾値の制約下では、既存の手法と比較して顕著に少ない学習可能なパラメータ数でターゲット精度に到達でき、パrameter効率性の向上が示された。
• 本手法は表現類似度に基づいて最適なタスクグループ化を特定し、関連のないタスク間での共有を回避することで、負の転送を低減する。
• 計算コストは単一タスクモデルの訓練に支配的であり、最小限のオーバーヘッドに抑えられており、ニューラルアーキテクチャサーチよりも効率的で、ソフトパラメータ共有手法と同等の性能を示す。
• Taskonomyデータセットでは、本手法は標準的マルチタスクネットワークおよびクロスストイチネットワークを上回る正確性と効率性を示すアーキテクチャを生成した。
• 定性的な結果から、ネットワークは深い層で意味のあるタスク固有の表現を学習しており、多様な視覚認識タスクにわたる一般化性能が向上していることが示された。