[論文レビュー] GNAS: A Greedy Neural Architecture Search Method for Multi-Attribute Learning

Siyu Huang, Xi Li+3 more|arXiv (Cornell University)|Apr 19, 2018

Domain Adaptation and Few-Shot Learning参考文献 29被引用数 14

ひとこと要約

GNASは、重み共有を用いた反復的・段階的最適化により、探索の複雑さを低減する貪欲なニューラルアーキテクチャ探索手法を提案する。この手法は、マルチアトリビュート学習のための最適なツリー構造ニューラルネットワークを自動で発見する。ベンチマークデータセットにおいて、パrameter数を減らし、推論を高速化することで、40個のアトリビュートのうち37個で、既存の手法を精度と効率の両面で上回る最先端の性能を達成する。

ABSTRACT

A key problem in deep multi-attribute learning is to effectively discover the inter-attribute correlation structures. Typically, the conventional deep multi-attribute learning approaches follow the pipeline of manually designing the network architectures based on task-specific expertise prior knowledge and careful network tunings, leading to the inflexibility for various complicated scenarios in practice. Motivated by addressing this problem, we propose an efficient greedy neural architecture search approach (GNAS) to automatically discover the optimal tree-like deep architecture for multi-attribute learning. In a greedy manner, GNAS divides the optimization of global architecture into the optimizations of individual connections step by step. By iteratively updating the local architectures, the global tree-like architecture gets converged where the bottom layers are shared across relevant attributes and the branches in top layers more encode attribute-specific features. Experiments on three benchmark multi-attribute datasets show the effectiveness and compactness of neural architectures derived by GNAS, and also demonstrate the efficiency of GNAS in searching neural architectures.

研究の動機と目的

• マルチアトリビュート学習における手動設計された深層アーキテクチャの不柔軟性とヒューリスティック性を解決すること。
• 相互に相関するアトリビュートを効果的に捉える最適なツリー構造ニューラルネットワークアーキテクチャを自動で発見すること。
• マルチアトリビュート設定におけるニューラルアーキテクチャ探索の計算コストを低減しつつ、高い性能を維持すること。
• メタラーニングや追加のハイパーパrameterを必要とせずに、効率的でスケーラブルかつ一般化可能なアーキテクチャ探索を可能にすること。

提案手法

• GNASは、グローバルアーキテクチャ最適化を、個々の接続についての貪欲で段階的な最適化の連鎖として定式化する。
• 探索を、下位レイヤーから順に上位レイヤーへと進む、局所的アーキテクチャの段階的最適化に分解する。
• 候補アーキテクチャ間で重み共有を用いることで、学習と評価を高速化する。
• マルチアトリビュートネットワークのツリー構造を活用し、共有トランクレイヤーが共通特徴を表し、分岐レイヤーがアトリビュート固有の表現を符号化する。
• ブロック間の有効な接続によって探索空間が定義され、任意のブロックタイプ（例：2次元畳み込み、MLP）と接続タイプを許容する。
• 最適なグローバルアーキテクチャは、反復的精錬によって得られた最良の局所的アーキテクチャを組み合わせることで構築される。

実験結果

リサーチクエスチョン

• RQ1 貪欲で段階的な探索戦略は、マルチアトリビュート学習のための高性能なツリー構造ニューラルアーキテクチャを効果的に発見できるか？
• RQ2 GNASは、手動設計や強化学習ベースの手法と比較して、アーキテクチャ探索の計算負荷を低減しつつ、性能を維持または向上できるか？
• RQ3 GNASは、意味的相関を反映する有意義なアトリビュートグループの自動学習が可能か？
• RQ4 精度、モデルサイズ、推論速度の観点から、GNASは最先端の手法と比較してどのように差をつけるか？

主な発見

• GNASは1台のGPUで2日以内にニューラルアーキテクチャを発見でき、最先端の手法を精度と効率の両面で顕著に上回る。
• CelebAデータセットでは、平均誤差率が最低となり、40個のアトリビュートのうち37個で最高の性能を示した。『魅力的』や『オval顔』といったグローバル顔貌アトリビュートではわずかな劣化が見られたが、全体として優れた性能を発揮した。
• LFWAにおけるアーキテクチャ可視化から、GNASは顔のひげ関連アトリビュートや髪型タイプなど、意味的に有意義なグループ化を自然に学習していることが示された。これは、アトリビュート間相関の効果的なモデリングを示している。
• GNASモデルは、従来の手法と比較してよりコンパクトで、推論が高速である。パrameter数を減らしながらも、より高い精度を達成した。
• この手法は頑健で一般化可能であり、テンソル形状が互換性を持つ限り、任意のニューラルブロックや接続タイプを処理できる。