[論文レビュー] NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural Network Synthesis

Anjul Tyagi, Cong Xie+1 more|arXiv (Cornell University)|Sep 28, 2020

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

NAS-Navigator は、反復的進化的探索アルゴリズムとインタラクティブなビジュアルインターフェースを統合することで、人間が関与する説明可能なワンショットニューラルアーキテクチャサーチを可能にするビジュアルアナリティクスシステムです。非専門家ユーザーが直感的なビジュアルフィードバックを通じて検索プロセスをガイドでき、最先端の手法と比較して計算コストが低く抑えられつつ、検索の効率性とパフォーマンスが向上します。

ABSTRACT

Recent advancements in the area of deep learning have shown the effectiveness of very large neural networks in several applications. However, as these deep neural networks continue to grow in size, it becomes more and more difficult to configure their many parameters to obtain good results. Presently, analysts must experiment with many different configurations and parameter settings, which is labor-intensive and time-consuming. On the other hand, the capacity of fully automated techniques for neural network architecture search is limited without the domain knowledge of human experts. To deal with the problem, we formulate the task of neural network architecture optimization as a graph space exploration, based on the one-shot architecture search technique. In this approach, a super-graph of all candidate architectures is trained in one-shot and the optimal neural network is identified as a sub-graph. In this paper, we present a framework that allows analysts to effectively build the solution sub-graph space and guide the network search by injecting their domain knowledge. Starting with the network architecture space composed of basic neural network components, analysts are empowered to effectively select the most promising components via our one-shot search scheme. Applying this technique in an iterative manner allows analysts to converge to the best performing neural network architecture for a given application. During the exploration, analysts can use their domain knowledge aided by cues provided from a scatterplot visualization of the search space to edit different components and guide the search for faster convergence. We designed our interface in collaboration with several deep learning researchers and its final effectiveness is evaluated with a user study and two case studies.

研究の動機と目的

• 深層学習における自動ワンショットニューラルアーキテクチャサーチ（NAS）における説明可能性の欠如とユーザー制御の不足を解決すること。
• 重み共有と進化的探索を活用することで、高いパフォーマンスを維持しつつ、NAS の計算負荷を低減すること。
• ドメイン知識を活用して検索をガイドできる視覚的ツールを非専門家ユーザーに提供すること。
• インタラクティブなビジュアルフィードバックとユーザーが関与する制御を通じて、検索収束時間の短縮と最終モデルの精度向上を実現すること。
• エキスパートインタビュー、制御実験、事例研究を通じて、本システムの有効性を評価すること。

提案手法

• 本システムは、パラメータ共有を用いて候補アーキテクチャの全探索空間を表す大きなテンプレートニューラルネットワークを採用する。
• 反復的進化的アルゴリズムがテンプレートから候補ネットワークをサンプリングし、検証精度に基づくフィットネススコアを用いて評価する。
• マルチビューのビジュアルインターフェースには、「Lego ビュー」（テンプレート設計用）、「ロスチャートビュー」（学習進行状況用）、「検索空間ビュー」（候補アーキテクチャを散布図で可視化）が含まれる。
• 各ノードのフィットネススコアが計算され、「候補情報ビュー」に表示され、ユーザーの意思決定を支援する。
• ユーザーはフィットネススコアに基づいてテンプレートネットワークの一時停止、停止、編集が可能であり、これにより探索空間の特定的縮小とアーキテクチャの最適化が可能になる。
• ユーザーがソフト制約（例：モデルサイズ対精度）を適用し、時間経過に伴う検索の進捗を追跡できるため、人間が関与する制御が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ビジュアルアナリティクスは、ワンショットニューラルアーキテクチャサーチにおける説明可能性とユーザー制御をどのように向上させ得るか？
• RQ2 インタラクティブなビジュアルステアリングは、完全に自動化されたNAS手法と比較して、検索時間を短縮しパフォーマンスを向上させ得るか？
• RQ3 ドメインエキスパートは、NAS用のビジュアルアナリティクスインターフェースの使いやすさと有効性をどのように評価するか？
• RQ4 ユーザーによるガイド付き干渉は、高性能なアーキテクチャへの収束をどの程度加速させるか？
• RQ5 複雑なNAS探索プロセスの理解と制御を最も効果的に支援するビジュアルデザインパターンは何か？

主な発見

• NAS-Navigator が改善したワンショットNASアルゴリズムの性能は、最終的なモデル精度において最先端技術と同等である。
• ビジュアルアナリティクスと人間が関与するインタラクションの統合により、完全に自動化された手法と比較して、さらに検索時間の短縮とパフォーマンス向上が達成された。
• エキスパート参加者からは、小さなが的で情報に基づいたユーザーの介入が、検索収束時間と最終的なモデル品質に顕著な影響を与えたと報告された。
• 参加者たちは、1つの散布図ビューで候補アーキテクチャを可視化できる機能が、検索のガイドや有望領域の特定に非常に有用であると感じた。
• フィードバックでは、イテレーションごとのフィットネススコアの推移を可視化できれば意思決定がさらに向上すると指摘され、時間的経過を追跡する機能の必要性が示された。
• エキスパートインタビューにおいて、システムは高く評価された。ユーザーはNASプロセスに対する透明性と制御性の向上を評価した。