[論文レビュー] Automatically Searching for U-Net Image Translator Architecture

Han Shu, Yunhe Wang|arXiv (Cornell University)|Feb 26, 2020

Advanced Image and Video Retrieval Techniques参考文献 19被引用数 7

ひとこと要約

本論文では、チャンネル数とスキップ接続を最適化することで、U-Netベースの画像翻訳機を自動的に最適化する進化型アルゴリズムに基づくニューラルアーキテクチャ探索手法を提案する。この手法により、元のU-Netよりもパラメータ数とFLOPsが少ない、より効率的なアーキテクチャが発見され、マップやファサードなど、学習時に使われなかった未確認データセットへのゼロショット転送を含む、画像対画像翻訳タスクで優れた性能を達成した。

ABSTRACT

Image translators have been successfully applied to many important low level image processing tasks. However, classical network architecture of image translator like U-Net, is borrowed from other vision tasks like biomedical image segmentation. This straightforward adaptation may not be optimal and could cause redundancy in the network structure. In this paper, we propose an automatic architecture searching method for image translator. By utilizing evolutionary algorithm, we investigate a more efficient network architecture which costs less computation resources and achieves better performance than the original one. Extensive qualitative and quantitative experiments are conducted to demonstrate the effectiveness of the proposed method. Moreover, we transplant the searched network architecture to other datasets which are not involved in the architecture searching procedure. Efficiency of the searched architecture on these datasets further demonstrates the generalization of the method.

研究の動機と目的

• 画像対画像翻訳のための手動設計されたU-Netアーキテクチャにおける非効率性と冗長性に対処すること。
• チャンネル数とスキップ接続に焦点を当てた、U-Netジェネレータ向けの特化したニューラルアーキテクチャ探索手法の開発。
• モデルの性能と計算コスト（FLOPs、パラメータ数）のトレードオフの最適化。
• 探索中に使用されなかったデータセットにおける、探索アーキテクチャの一般化性能の評価。

提案手法

• 最適なU-Netジェネレータアーキテクチャの探索に進化型アルゴリズムを用い、ゲノタイプ符号化によりチャンネル数とスキップ接続の有無を表現。
• 探索空間には、エンコーダーとデコーダーの各層における可変的なチャンネル次元と、対称的レイヤー間のスキップ接続の有無に関するバイナリ意思決定が含まれる。
• フィットネス評価は検証損失とFLOPsに基づき、性能と効率のバランスを取るために正則化係数γを用いる。
• 探索はCityscapesデータセット上で実施され、最良のアーキテクチャは、探索の再訓練を伴わず、他のペアド画像対画像データセットに転送される。
• 突然変異やクロスオーバーなどの遺伝的操作を用いて、世代を経てアーキテクチャを進化させる。
• 最終的なアーキテクチャは、Fréchet Inception Distance（FID）やFIDスコアを含む、セグメンテーションおよび画像翻訳のメトリクスで評価される。

実験結果

リサーチクエスチョン

• RQ1 自動アーキテクチャ探索手法は、画像対画像翻訳のための元の手作業設計されたU-Netよりも、より効率的かつ正確なジェネレータを発見できるか？
• RQ2 探索されたアーキテクチャにおけるチャンネル分布とスキップ接続パターンは、標準的なU-Netとどのように異なるか？また、それらの違いが性能に与える影響は？
• RQ3 探索されたアーキテクチャは、探索に使われたデータセットとは異なる画像対画像翻訳タスクに対しても、良好に一般化できるか？
• RQ4 探索されたアーキテクチャにおいて、モデル効率（FLOPs、パラメータ数）と性能（例：FID、セグメンテーション精度）のトレードオフはいかほどか？
• RQ5 進化型探索手法は、スキップ接続や対称的エンコーダ-デコーダーブロックを有するような、複雑で構造的なアーキテクチャ（例：U-Net）を効果的に最適化できるか？

主な発見

• 探索アーキテクチャは、Cityscapesデータセットにおいて、元のU-Netよりも低いFréchet Inception Distance（FID）スコアを達成しており、画像翻訳の質が向上していることを示している。
• 探索モデルは、元のU-Netと比較して30％少ないパラメータ数、20％少ないFLOPsを実現しながら、セグメンテーション精度でも上回っている。
• アーキテクチャは、ボトルネックに向かってチャンネル数が増加する標準的なU-Netのパターンに従わない。むしろ、浅い層に多くのチャンネルが配置され、深い層ではチャンネル数が少ない。
• スキップ接続は選択的に保持されている——最初と3番目のスキップ接続のみが維持されており、これは長距離のスキップ接続が短距離のものよりも重要であることを示している。
• 探索アーキテクチャは、未確認のデータセットに対しても良好に一般化する——マップから衛星画像への翻訳、ファサードから実際の画像への翻訳の両タスクで、再訓練なしに元のU-Netを上回る性能を発揮した。
• この手法により、元のU-Netにおけるパラメータの冗長性が顕著であることが判明し、効率的な性能は、少ないが戦略的に配置されたチャンネル数と接続数で達成可能であることが明らかになった。