[論文レビュー] Feature Partitioning for Efficient Multi-Task Architectures

Alejandro Newell, Lu Jiang+3 more|arXiv (Cornell University)|Aug 12, 2019

Domain Adaptation and Few-Shot Learning参考文献 38被引用数 11

ひとこと要約

本稿では、リソース制約下でのパラメータ共有戦略の探索を効率的に行うために、マルチタスクニューラルネットワークにおける特徴量分割のコンactパrameterizationを提案する。特徴量蒸留を用いてアーキテクチャ評価を高速化することで、タスクあたりの平均パラメータ使用量を削減しつつ高い精度を達成するマルチタスクモデルを発見し、Visual Decathlonにおいてベースラインを上回る性能を示した。

ABSTRACT

Multi-task learning holds the promise of less data, parameters, and time than training of separate models. We propose a method to automatically search over multi-task architectures while taking resource constraints into consideration. We propose a search space that compactly represents different parameter sharing strategies. This provides more effective coverage and sampling of the space of multi-task architectures. We also present a method for quick evaluation of different architectures by using feature distillation. Together these contributions allow us to quickly optimize for efficient multi-task models. We benchmark on Visual Decathlon, demonstrating that we can automatically search for and identify multi-task architectures that effectively make trade-offs between task resource requirements while achieving a high level of final performance.

研究の動機と目的

• パフォーマンスとリソース使用量のバランスをとった、効率的なマルチタスクアーキテクチャを自動で発見する課題に対処すること。
• 特徴量共有戦略をコンactに表現することで、膨大なマルチタスクアーキテクチャ空間の探索にかかる計算コストを低減すること。
• 特徴量蒸留をフルトレーニングの代理として用いることで、アーキテクチャ評価を高速化すること。
• 多様なタスクにおけるパrameter効率性とモデル精度のトレードオフを最適化すること。
• 実際のリソース制約下で、多様なベンチマークであるVisual Decathlon上で本手法の有効性を示すこと。

提案手法

• 特徴量共有戦略を行列Pを介して表現するコンactなパラメータ化を提案し、冗長性を低減し、アーキテクチャ空間における効率的な探索を可能にする。
• 教師モデルから学生モデルへの知識伝達を用い、特徴量のサブセットで訓練された学生モデルを用いて、候補となる分割戦略の性能を迅速に推定する特徴量蒸留を採用する。
• 勾配ベースの更新を組み込んだ進化的戦略を用いて探索空間を探索し、タスクごとのパラメータ使用量制約下での精度最適化を実現する。
• 特徴量共有の微分可能で解釈可能な表現を導入することで、タスクごとに共有されるチャンネル数や割り当てられるチャンネル数を細かく制御できる。
• データセットの蒸留版を用い、少数のトレーニングステップで候補アーキテクチャを評価し、フルトレーニングの精度と相関する性能を測定する。
• 重み減衰ペナルティを用いて最適化中にリソース使用量を制御し、特定の計算予算に合わせたチューニングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 特徴量共有とタスク固有の能力割り当てを含む、膨大なマルチタスクアーキテクチャ設定空間をどのように効率的に探索できるか？
• RQ2 マルチタスク設定において、フルトレーニング性能の代替として特徴量蒸留が信頼性があり高速に評価可能か？
• RQ3 固定またはランダムな共有戦略と比較して、特徴量共有を明示的にパラメータ化することで、性能はどの程度向上するか？
• RQ4 適応的特徴量分割を用いる場合、パrameter使用量と精度のトレードオフは、タスクごとにどのように変化するか？
• RQ5 蒸留フィードバックを用いた進化的探索は、リソース制約下で手作業設計や均一な分割に基づくベースラインを上回るアーキテクチャを発見できるか？

主な発見

• 提案手法は、独立型、半分共有型、完全共有型などの複数のベースライン分割戦略よりも高い検証精度を達成するとともに、タスクあたりの平均特徴チャンネル使用量を削減した。
• 蒸留フィードバックを用いた進化的探索により、4×P100 GPUを用いて5時間未満で高性能なアーキテクチャを同定し、評価対象が1000サンプルにとどまった。
• 特徴量蒸留は最終的な検証精度と強く相関しており、フルトレーニングなしで信頼性があり高速な性能推定が可能である。
• 行列Pによる共有の明示的パラメータ化が不可欠である。異なる共有パターンによって性能が顕著に変動し、特にリソースが限られた状況で顕著である。
• 平均パラメータ使用量が低い状況では、最適な分割戦略の選択が性能に大きな影響を及ぼすため、知的な共有設計の重要性が浮き彫りになった。
• 本手法により、パフォーマンスとリソースのトレードオフのフロンティアを効果的に探索でき、リソースが制限された状況では、性能向上が分割戦略の選択に最も敏感であることが明らかになった。