[論文レビュー] Graph-guided Architecture Search for Real-time Semantic Segmentation

Pei‐Wen Lin, Peng Sun+4 more|arXiv (Cornell University)|Sep 15, 2019

Advanced Neural Network Applications参考文献 52被引用数 6

ひとこと要約

本論文は、セル共有制約を排除し、セル間通信にグラフ畳み込みネットワーク（GCN）を統合することで、セル単位のアーキテクチャ多様性を可能にする、リアルタイム意味セグメンテーション向けの新規NASフレームワークであるGraph-guided Architecture Search（GAS）を提案する。遅延最適化制約を組み込むことで、Cityscapesで108.4 FPSで73.5% mIoUを達成し、従来のリアルタイム手法よりも精度と速度のトレードオフにおいて優れた性能を発揮した。

ABSTRACT

Designing a lightweight semantic segmentation network often requires researchers to find a trade-off between performance and speed, which is always empirical due to the limited interpretability of neural networks. In order to release researchers from these tedious mechanical trials, we propose a Graph-guided Architecture Search (GAS) pipeline to automatically search real-time semantic segmentation networks. Unlike previous works that use a simplified search space and stack a repeatable cell to form a network, we introduce a novel search mechanism with new search space where a lightweight model can be effectively explored through the cell-level diversity and latencyoriented constraint. Specifically, to produce the cell-level diversity, the cell-sharing constraint is eliminated through the cell-independent manner. Then a graph convolution network (GCN) is seamlessly integrated as a communication mechanism between cells. Finally, a latency-oriented constraint is endowed into the search process to balance the speed and performance. Extensive experiments on Cityscapes and CamVid datasets demonstrate that GAS achieves the new state-of-the-art trade-off between accuracy and speed. In particular, on Cityscapes dataset, GAS achieves the new best performance of 73.5% mIoU with speed of 108.4 FPS on Titan Xp.

研究の動機と目的

• 軽量意味セグメンテーションネットワークにおける精度と推論速度の手動バランス調整の課題に対処すること。
• 同じセルを繰り返し使用する従来のNAS手法の制限を克服すること。これにより、アーキテクチャの多様性が制限され、最適な速度・精度トレードオフが阻害される。
• セル独立探索により、柔軟で多様なセルアーキテクチャを可能にするとともに、セル間通信により性能を維持すること。
• エッジデバイスへのリアルタイムデプロイメントを直接最適化するため、検索プロセスに遅延指向の制約を統合すること。

提案手法

• セル依存のない探索空間を導入し、各セルに独自のアーキテクチャを許容することで、レイヤー間での計算コストの多様化を実現する。
• セル間通信のための通信メカニズムとして、学習された推論グラフを用いたグラフ畳み込みネットワーク（GCN）を採用する。この推論グラフにより、アーキテクチャ意思決定の依存関係をモデル化する。
• 構造的関係を保持し、セル間での演算選択をガイドするため、エッジ類似度に基づいて推論グラフを構築する。
• mIoUと推論速度のバランスを取るために、ハイパーパrameter β を用いた遅延指向の損失項を検索目的関数に統合する。
• セル演算が微分可能であり、GCNガイドド通信と同時に最適化可能な微分可能NASフレームワークを用いて、アーキテクチャ探索を実施する。
• 最終的なネットワークは、ターゲットデータセットでの微調整のみを用いて、エンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 セル単位の多様で繰り返しのないアーキテクチャを可能にすることで、リアルタイム意味セグメンテーションにおける優れた精度・速度トレードオフを達成できるか？
• RQ2 セルが共有されなくなった場合に、GCNによるセル間通信が探索効率と性能をどのように向上させるか？
• RQ3 共有されないセル設定において、セルアーキテクチャ意思決定をガイドする推論グラフを構築する最適な方法は何か？
• RQ4 検索目的関数に遅延指向の制約を組み込むことで、精度を犠牲にせずにデプロイ効率をどの程度向上できるか？

主な発見

• GASは、TITAN Xpを用いてCityscapes検証セットで108.4 FPSで73.5% mIoUを達成し、リアルタイム意味セグメンテーション分野で新たなSOTAを樹立した。
• エッジ類似度に基づく推論グラフの使用は、演算アイデンティティグラフを上回り、72.4% mIoUと108.4 FPSを達成したのに対し、後者は70.9% mIoUと102.2 FPSであった。
• GCNガイドドモジュールは、探索の安定性と性能を顕著に向上させ、セルが独立して探索されても精度の低下を大幅に抑制した。
• 遅延損失のβ = 0.005の設定では、性能のわずかな低下で遅延が急激に低下し、バランスの取れたトレードオフが達成された。
• ネットワーク可視化の結果、GASとGGMは、パラメータ効率の高い演算（例：ドーナツ型畳み込み、ディープワイド分離畳み込み）を好む傾向が確認され、セル間での負担共有が効果的に行われていることが示された。
• 除去実験の結果、GCNなしのセル独立探索では性能が低下することが確認され、通信メカニズムの必要性が裏付けられた。