[論文レビュー] Domain-Aware Dynamic Networks

Tianyuan Zhang, BoRui Wu+3 more|arXiv (Cornell University)|Nov 26, 2019

Domain Adaptation and Few-Shot Learning参考文献 51被引用数 7

ひとこと要約

本稿では、入力ドメインに応じて推論時に重みを動的に適応させるドメイン認識動的ネットワーク（DDN）を提案する。これにより、FLOPs や遅延を増加させることなく、より高いモデル容量を実現できる。データ局所性（入力データが短時間にわたり同一ドメイン内にとどまる性質）を活用し、各ドメインごとに特化した低複雑度モデルに複数のエキスパート重みを動的に組み合わせる。BDD100K では、静的ネットワークに比べて最高で 2.6% 高い AP50 を達成した。

ABSTRACT

Deep neural networks with more parameters and FLOPs have higher capacity and generalize better to diverse domains. But to be deployed on edge devices, the model's complexity has to be constrained due to limited compute resource. In this work, we propose a method to improve the model capacity without increasing inference-time complexity. Our method is based on an assumption of data locality: for an edge device, within a short period of time, the input data to the device are sampled from a single domain with relatively low diversity. Therefore, it is possible to utilize a specialized, low-complexity model to achieve good performance in that input domain. To leverage this, we propose Domain-aware Dynamic Network (DDN), which is a high-capacity dynamic network in which each layer contains multiple weights. During inference, based on the input domain, DDN dynamically combines those weights into one single weight that specializes in the given domain. This way, DDN can keep the inference-time complexity low but still maintain a high capacity. Experiments show that without increasing the parameters, FLOPs, and actual latency, DDN achieves up to 2.6\% higher AP50 than a static network on the BDD100K object-detection benchmark.

研究の動機と目的

• エッジデバイスへの展開におけるモデル容量と計算複雑度のトレードオフを解消すること。
• 入力データが短時間の時間間隔にわたり同一ドメイン内にとどまるというデータ局所性を活用し、一般化性能を向上させること。
• 推論時の複雑度を低く保ちつつ、多様なドメインで高い精度を達成できる動的ネットワークを設計すること。
• エッジデバイスにおけるパラメータ数、FLOPs、実際の遅延を増加させることなく、高容量モデルの性能を実現すること。

提案手法

• 各層に複数の重みセット（エキスパート）を含む動的ネットワークアーキテクチャを提案する。
• 入力データから抽出したドメイン表現に基づいて、動的融合重みを計算するコントローラーネットワークを用いる。
• 入力ドメインを条件として、エキスパート重みの学習済み線形結合により最終層の重みを決定する。
• バックボーンネットワークを用いてドメイン表現を抽出し、それをコントローラーに供給してドメイン固有の融合係数を生成する。
• 入力ドメインが変化しない限り、同じ融合重み構成を複数の入力で再利用することで、推論コストを低く保つ。
• 各ドメインでの正確な予測を促進するとともに、計算オーバーヘッドを低く保つ損失関数を用いて、エンド・ツー・エンドでネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 データ局所性を活用することで、推論時の複雑度を増加させずにモデル容量を向上させることは可能か？
• RQ2 計算コストを低く保ちながら、動的ネットワークが異なる入力ドメインに重みを効果的に適応させることは可能か？
• RQ3 コントローラーは異なるドメイン分割戦略に一般化できるか、それともトレーニング時のドメインパーティショニングに敏感か？
• RQ4 BDD100K のような多様で現実世界のベンチマークにおいて、ドメイン認識動的重み付けはどの程度性能を向上させるか？

主な発見

• DDN は、パラメータ数、FLOPs、実際の遅延を増加させることなく、BDD100K のオブジェクト検出ベンチマークで静的ネットワークに比べて最高で 2.6% 高い AP50 を達成した。
• 評価時のドメイン分割戦略がトレーニング時のものと一致しない場合、性能が著しく低下する（例：39.6% から 38.52% に AP50 が低下）、これはコントローラーがドメインパーティショニングに敏感であることを示している。
• t-SNE 視覚化により、同じドメインに属する画像が重み要因空間でまとまっていることが確認され、コントローラーが意味のあるドメイン固有の表現を学習していることが示された。
• 重み要因の可視化から、直感的に相反する期待を持つドメインですら、明確に異なる融合係数が割り当てられていることが分かった。これは、モデルが非自明なドメイン固有の適応を学習できることを示している。
• ドメイン分割が不一致であっても、DDN は単一の静的ネットワーク（38.08% 対 37.4% の AP50）を上回る性能を示し、分布シフトに対して頑健であることが示された。
• 新しいドメイン分割戦略に対して、明示的にそれらのドメインでトレーニングされていない限り、コントローラーは一般化できないことが判明した。これは、ドメイン表現がトレーニング戦略と整合している必要があることを示している。