[論文レビュー] TransNAS-Bench-101: Improving Transferability and Generalizability of Cross-Task Neural Architecture Search

Yawen Duan, Xin Chen+5 more|arXiv (Cornell University)|May 25, 2021

Advanced Neural Network Applications参考文献 34被引用数 4

ひとこと要約

TransNAS-Bench-101 は、分類、セグメンテーション、自己符号化、自己教師あり学習を含む7つの多様なビジョンタスクにおいて、2つの検索空間（セルレベルおよびマクロレベル）で7,352のニューラルアーキテクチャを評価する、クロスタスクニューラルアーキテクチャ探索（NAS）の包括的ベンチマークを導入する。主な貢献は、パフォーマンス、FLOPs、推論時間を含む大規模かつ完全に訓練されたデータセットを提供することであり、NASにおける転送性および一般化性能の強固な評価を可能にする。REA転送が、マクロレベル検索空間で99.11百分位のパフォーマンスを達成するなど、最も優れた性能を示す。

ABSTRACT

Recent breakthroughs of Neural Architecture Search (NAS) extend the field's research scope towards a broader range of vision tasks and more diversified search spaces. While existing NAS methods mostly design architectures on a single task, algorithms that look beyond single-task search are surging to pursue a more efficient and universal solution across various tasks. Many of them leverage transfer learning and seek to preserve, reuse, and refine network design knowledge to achieve higher efficiency in future tasks. However, the enormous computational cost and experiment complexity of cross-task NAS are imposing barriers for valuable research in this direction. Existing NAS benchmarks all focus on one type of vision task, i.e., classification. In this work, we propose TransNAS-Bench-101, a benchmark dataset containing network performance across seven tasks, covering classification, regression, pixel-level prediction, and self-supervised tasks. This diversity provides opportunities to transfer NAS methods among tasks and allows for more complex transfer schemes to evolve. We explore two fundamentally different types of search space: cell-level search space and macro-level search space. With 7,352 backbones evaluated on seven tasks, 51,464 trained models with detailed training information are provided. With TransNAS-Bench-101, we hope to encourage the advent of exceptional NAS algorithms that raise cross-task search efficiency and generalizability to the next level. Our dataset file will be available at Mindspore, VEGA.

研究の動機と目的

• 画像分類を越えてクロスタスクニューラルアーキテクチャ探索（NAS）を支援する包括的ベンチマークの不足に対処すること。
• 多様なビジョンタスクにわたる大規模かつ完全に訓練されたデータセットを提供することで、転送可能で一般化可能なNASの研究における計算コストの障壁を低減すること。
• 複数のタスクと検索空間において、特にポリシー転送とアーキテクチャ転送を含む、転送学習戦略の評価と比較を実施すること。
• ネガティブな転送やタスクシフト感受性といった、転送可能NASにおける主な課題を同定し、将来のアルゴリズム設計に向けた実用的知見を提供すること。
• 多様なタスクと検索空間で良好に機能する、より効率的で強固かつ一般化可能なNASアルゴリズムの開発を促進すること。

提案手法

• 各セルが微分可能DAGであるセルレベル検索空間と、ネットワークの深さやブロック演算構成を柔軟に設定可能なマクロレベル検索空間の2つの異なる検索空間を設計すること。
• オブジェクト分類、シーン分類、セマンティックセグメンテーション、自己符号化、ルームレイアウト予測、表面法線推定、ジャイガパズルの解法の7つの多様なビジョンタスクで、7,352のニューラルアーキテクチャバックボーンをトレーニングおよび評価すること。
• 正確性、FLOPs、推論時間、トレーニングログを含む、詳細な診断情報の提供により、再現性があり深い分析を可能にすること。
• 4つの転送スキームの実装と評価：直接アーキテクチャ転送、直接ポリシー転送（PPO）、CATCH（エンコーダーと評価器コンponentを備えたポリシー転送手法）、および事前学習済み集団初期化を用いた遺伝的アルゴリズムベースの転送（REA）。
• すべてのタスクと検索空間で一貫した実験プロトコルを採用することで、転送学習性能の公平な比較と信頼性の高いベンチマーク評価を確保すること。
• 全モデルの事前学習および評価に合計193,760 GPU時間（1つのV100で約22.12年分に相当）を活用し、将来的な研究における負担を顕著に低減すること。

Figure 1: Our cell-level and macro-level search space in TransNAS-Bench-101. We design a cell-level search space that treats each cell as a DAG and a macro-level search space that allows flexible macro skeleton network design.

実験結果

リサーチクエスチョン

• RQ1 分類、回帰、自己教師あり学習を含む多様なビジョンタスク間で、NASアルゴリズムのパフォーマンスはどのように変化するか？
• RQ2 直接アーキテクチャ転送、ポリシー転送、遺伝的ベースの初期化といった異なる転送戦略は、クロスタスクNASにおける一般化性能と効率性をどの程度向上させるか？
• RQ3 セルレベルとマクロレベルの検索空間は、異なるタスクにおいて、それぞれ転送性とパフォーマンスのロバストネスの観点でどのように比較されるか？
• RQ4 顕著に異なる特性を示すタスク間で、NASポリシーやアーキテクチャを転送する際、一貫したパフォーマンスを維持する上で直面する主な課題は何か？
• RQ5 CATCHのような転送手法に追加のコンponent（例：タスクエンコーダーと評価器）を導入することで、ネガティブな転送を効果的に緩和し、耐性を向上させることができるか？

主な発見

• ソースタスクからターゲットタスクへの直接的なアーキテクチャ転送は、ランダムサーチよりも著しく劣る性能を示し、ネガティブな転送の高いリスクを示している。
• 直接ポリシー転送（例：PPO）は直接アーキテクチャ転送を上回るが、ソースタスクとターゲットタスクの差が著しい場合には依然としてネガティブな転送に苦しむ。
• タスクエンコーダーと候補評価器を統合したCATCHは、マクロレベル検索空間におけるオブジェクト分類のタスクで性能を向上させるが、セルレベル空間におけるルームレイアウトタスクでは困難を示す。
• 事前学習済み集団初期化を用いた遺伝的アルゴリズムベースの転送（REA）は、全タスクで最高の平均パフォーマンスを達成し、セルレベルとマクロレベル検索空間でそれぞれ99.02百分位および99.11百分位の成績を記録した。
• ベンチマークは、特定のタスクにおいてはネットワークのマクロ構造設計がセルレベル設計よりもパフォーマンスに大きな影響を与えることを明らかにした。これは、NAS研究がセルベースの検索空間を越えて拡張する必要があることを示唆している。
• NASの一般化性能には依然として大きな改善余地がある。どのタスクや検索空間でも一貫して優れた性能を示す方法は存在しないため、より適応的で強固な転送メカニズムの開発が急務である。

Figure 2: Vision tasks considered in our benchmarks. We carefully select those 7 tasks above to ensure both diversity and similarity across tasks from Taskonomy [ 35 ] .