[論文レビュー] Deep Active Learning with a Neural Architecture Search

Yonatan Geifman, Ran El‐Yaniv|arXiv (Cornell University)|Nov 19, 2018

Machine Learning and Algorithms参考文献 28被引用数 23

ひとこと要約

本稿では、段階的ニューラルアーキテクチャ探索（iNAS）を用いて、アクティブラーニングプロセス中に最適なニューラルアーキテクチャを動的に探索する、新しい深層アクティブラーニングフレームワークであるactive-iNASを提案する。データの可用性に応じてアーキテクチャの容量を段階的に適応的に拡大することで、複数のデータセットおよびクエリ戦略において、固定アーキテクチャのアクティブラーニングを著しく上回り、ソフトマックス応答とactive-iNASを組み合わせた手法が最先端の性能を達成する。

ABSTRACT

We consider active learning of deep neural networks. Most active learning works in this context have focused on studying effective querying mechanisms and assumed that an appropriate network architecture is a priori known for the problem at hand. We challenge this assumption and propose a novel active strategy whereby the learning algorithm searches for effective architectures on the fly, while actively learning. We apply our strategy using three known querying techniques (softmax response, MC-dropout, and coresets) and show that the proposed approach overwhelmingly outperforms active learning using fixed architectures.

研究の動機と目的

• 既存の深層アクティブラーニング手法が事前に指定された固定されたニューラルアーキテクチャに依存するという制限に対処すること。これは、初期ラーニング段階で一般化能力が十分に発揮されない可能性がある。
• アクティブラーニング中にニューラルアーキテクチャを動的に最適化することで、モデルの一般化性能とクエリ効率が向上するかどうかを調査すること。
• 過学習を避けるために、ラベル付きデータが少ない初期段階で、データ駆動的かつ単調にアーキテクチャ容量を段階的に増加させる手法を開発すること。
• アーキテクチャ最適化が、アクティブラーニングにおける不確実性に基づくクエリ関数の品質に与える影響を評価すること。
• active-iNASが、複数のデータセットおよびクエリ戦略において、標準的な固定アーキテクチャを用いたアクティブラーニングを一貫して上回ることを示すこと。

提案手法

• 各アクティブラーニングラウンドにおいて、より良いアーキテクチャを段階的・単調に探索する、段階的ニューラルアーキテクチャ探索（iNAS）を提案する。
• 可変なResNetブロックのスタックから成る柔軟なアーキテクチャファミリーを用い、深さと幅の制御された増加を可能にする。
• ソフトマックス応答、MCドロップアウト、コアセットベースの不確実性推定の3つの標準的クエリ戦略とiNASを統合する。
• 同じモデルを用いた受動的ベースラインと公平に比較できるように、AUC-GAINに基づく正規化スキームを適用する。
• 最小の容量から開始し、性能向上が観察された場合にのみ、動的アーキテクチャ選択プロセスが拡大する。
• 最適化されたアーキテクチャ下での異なるクエリ関数の有効性を評価・比較するために、相対的AUC-GAIN指標を用いる。

実験結果

リサーチクエスチョン

• RQ1 アクティブラーニング中に動的ニューラルアーキテクチャ探索を実施することで、モデルの一般化性能を向上させ、サンプル複雑性を低減できるか？
• RQ2 不確実性に基づくクエリ関数の性能は、背後にあるモデルアーキテクチャに依存するか？ また、アーキテクチャ最適化によって向上させられるか？
• RQ3 アーキテクチャの選択が、画像分類におけるアクティブラーニングの学習曲線とクエリ効率にどのように影響するか？
• RQ4 単調的かつ段階的なアーキテクチャ探索戦略は、ラベル付きデータが限られた初期段階で過学習を防げるか？
• RQ5 多様なデータセットにおいて、特定のクエリ関数とactive-iNASを組み合わせた場合に一貫した性能向上が得られるか？

主な発見

• active-iNASは、CIFAR-10、CIFAR-100、SVHNの3つのデータセットすべてにおいて、固定アーキテクチャを用いた標準的アクティブラーニングを一貫して上回る。
• ソフトマックス応答とactive-iNASを組み合わせた手法が、全データセットでMCドロップアウトおよびコアセットベース手法を上回る最高の性能を達成する。
• CIFAR-100では、クラス数の多さと不確実性推定の課題が原因で、MCドロップアウトの性能が著しく劣ることがある。
• SVHNおよびCIFAR-10では、active-iNASは幅広いが浅いアーキテクチャに傾向を示すが、CIFAR-100では深さを重視するアーキテクチャを好む。これは、データセットの複雑さに応じた適応を示している。
• AUC-GAIN分析から、モデルの一般化性能の向上がクエリ関数の有効性を直接的に高めることを示しており、アーキテクチャ最適化とアクティブラーニングの相乗効果を裏付けている。
• iNASプロセスはランダムシードに対して安定しており、同じ学習条件下で一貫したアーキテクチャ進化パターンを示している。