[論文レビュー] Image segmentation via Cellular Automata

M. Sandler, Andrey Zhmoginov+4 more|arXiv (Cornell University)|Aug 11, 2020

Cellular Automata and Applications参考文献 34被引用数 8

ひとこと要約

本稿では、高解像度画像セグメンテーションを実行するために、学習可能な局所的更新ルールを持つ細胞自動機（CA）の訓練を提案する。小さなニューラルネットワークを用いてCAルールをパラメータ化し、画素全体に並列かつランダムに更新を適用することで、勾配降下法によりグローバルに一貫性のあるセグメンテーションマスクに収束させる。わずか10,000未満のパラメータで優れた性能を達成する。

ABSTRACT

In this paper, we propose a new approach for building cellular automata to solve real-world segmentation problems. We design and train a cellular automaton that can successfully segment high-resolution images. We consider a colony that densely inhabits the pixel grid, and all cells are governed by a randomized update that uses the current state, the color, and the state of the $3 imes 3$ neighborhood. The space of possible rules is defined by a small neural network. The update rule is applied repeatedly in parallel to a large random subset of cells and after convergence is used to produce segmentation masks that are then back-propagated to learn the optimal update rules using standard gradient descent methods. We demonstrate that such models can be learned efficiently with only limited trajectory length and that they show remarkable ability to organize the information to produce a globally consistent segmentation result, using only local information exchange. From a practical perspective, our approach allows us to build very efficient models -- our smallest automaton uses less than 10,000 parameters to solve complex segmentation tasks.

研究の動機と目的

• 局所的相互作用のみを用いて、複雑な現実世界の画像セグメンテーションタスクを解くことができるトレーニング可能な細胞自動機の開発。
• 勾配消失／爆発に敏感な細胞自動機においても、長時間の展開（unroll）にわたる学習の安定性を確保する方法の確立。
• 動的入力（例：動画）を想定した、非同期更新を活用した効率的で段階的な推論の実現。
• 10,000パラメータ未満のコンパクトなCAモデルが、競争力のあるセグメンテーション性能を達成できるかの検証。
• 視覚タスクにおける分散的・分散型計算の枠組みとしてのCAの可能性の探求。

提案手法

• 細胞自動機は画素グリッド上に定義され、各セルは3×3の近傍と色に基づき、ランダムで並列な更新ルールに従って更新される。
• 更新ルールは小さな畳み込みニューラルネットワークによってパラメータ化され、バックプロパゲーションによるエンドツーエンドの微分可能訓練が可能になる。
• 学習には短い展開シーケンス（例：10〜80ステップ）を用い、時間軸に沿った勾配逆伝播によりルールパラメータを最適化する。
• リセット可能セル機構がベルヌーイゲートを介して確率的要因を導入し、非同期的進化を可能にするとともに、学習の安定性を向上させる。
• 入力をダウンサンプリングするためのストライド2の畳み込みと、予測をアップサンプリングするためのトランスポーズ畳み込みを採用し、パラメータの追加コストを最小限に抑える。
• パラメータ数を削減しながら性能を維持するため、深度分離畳み込みを用いる。標準畳み込みと比較して、3倍のパラメータ削減が達成される。

実験結果

リサーチクエスチョン

• RQ1 学習可能で局所的な更新ルールを持つ細胞自動機は、複雑な画像セグメンテーションタスクを効果的に解けるか？
• RQ2 短い展開シーケンスとアーキテクチャの革新を用いることで、長時間スパンの細胞自動機における学習不安定性はどのように緩和できるか？
• RQ3 非同期的計算を活用することで、動的入力（例：動画）に対するCAモデルの一般化能力はどの程度向上するか？
• RQ4 CAベースのアーキテクチャにおいて、モデルサイズとセグメンテーション精度のトレードオフはどのようなものか？
• RQ5 セルにリセットゲートを導入することで、例えばレジーム変化のような、新たな学習ダイナミクスが出現するか？

主な発見

• 提案されたCAモデルは、10,000パラメータ未満で最先端の性能を達成し、極めて高い効率性を示した。
• 96×96のモデルで深度分離畳み込みを用いることで、標準の3×3バージョンと比較して約3%高いIOUを達成した一方で、4倍速く、18,000パラメータで実現した。
• 最小のモデル（9,000パラメータ）は、COCOデータセットで75.5%のオブジェクトIOUを達成し、優れたコンパクト性を示した。
• 訓練過程でリセットゲートにレジーム変化が観測され、それが急激な性能向上（例：ステップ79でIOUが著しく上昇）と相関していた。
• 短い展開（例：80ステップ）で訓練されたモデルは一般化性能に優れ、入力の変化に適応可能であり、動画セグメンテーションへの直接適用が可能であった。
• 深度分離畳み込みの導入により、パラメータ数はほぼ3倍削減され、性能低下は最小限に抑えられ、モデルの高効率性が実証された。