[論文レビュー] Sample-efficient image segmentation through recurrence

Drew Linsley, Junkyung Kim+2 more|arXiv (Cornell University)|Nov 28, 2018

CCD and CMOS Imaging Sensors被引用数 9

ひとこと要約

Gamma-netは、哺乳類の視覚皮質における再帰的フィードバックを模倣して、前向き伝播、水平的、および上向きの接続を用いてU-Netアーキテクチャにゲート付き再帰的ダイナミクスを統合する。画像および細胞セグメンテーションにおいて最先端またはそれ以上の性能を達成し、小規模データセットにおいて顕著な向上を示し、人間の心理学的実験と整合する顕在的文脈的バイアスを示す。生物学的にインspiredな再帰性により、データ効率が向上することを示している。

ABSTRACT

There is a growing consensus in vision science that recurrent neural networks constitute better models of visual cortex than feedforward architectures. Yet, feedforward neural networks continue to dominate most popular computer vision challenges. We bridge this gap with the Gamma-net. Inspired by recurrent feedback loops prevalent in the mammalian visual cortex, Gamma-net introduces gated recurrent dynamics through feedforward, horizontal, and top-down connections into the popular U-Net architecture. We demonstrate that Gamma-net performs on par or better than state-of-the-art architectures for dense prediction in both natural image and cell segmentation datasets. The re-entrant processing of the Gamma-net lead to especially large performance gains over the state-of-the-art on smaller datasets. We further show that Gamma-net reproduces a contextual bias in orientation estimation which is consistent with the tilt illusion in human psychophysics. The existence of this bias in Gamma-net -- which emerges from contour detection training in natural images -- supports the theory that this visual illusion is a byproduct of recurrent computational mechanisms underlying contour detection. Vision science theory suggests that recurrent processing underlies robust biological vision, and we demonstrate that similar principles can improve the data efficiency of computer vision systems.

研究の動機と目的

• 生物学的にインspiredな再帰的ニューラルネットワークとコンピュータビジョン分野の支配的である前向き伝播アーキテクチャの間のギャップを埋めること。
• 画像および細胞セグメンテーションのような密予測タスクにおけるデータ効率を向上させること。
• 再帰的メカニズムが、心理学的実験で観察された人間らしい文脈的バイアスを再現できるかどうかを調査すること。
• 計算効率を損なわずにU-Netアーキテクチャに再帰的ダイナミクスを統合すること。

提案手法

• 前向き伝播、水平的、および上向きのスキップ接続を介して、ゲート付き再帰ユニット（GRUs）をU-Netエンコーダ・デコーダフレームワークに統合する。
• 複数の処理段階にわたり特徴表現を反復的に精錬できる再帰的フィードバックループを採用する。
• 文脈的バイアスの出現を可能にするために、輪郭検出を事前学習の目的として用いる。
• 反復的精錬を可能にする一方で、前向き伝播の推論パスを維持する。
• 再帰的部品の訓練を安定化させるために、残差接続および正規化層を適用する。
• 自然画像および生物学的細胞画像を用いて、エンドツーエンドにネットワークを訓練し、一般化性能およびデータ効率を評価する。

実験結果

リサーチクエスチョン

• RQ1 再帰的フィードバック機構は、特に小規模データセットにおいて、画像セグメンテーションタスクのデータ効率を向上させることができるか？
• RQ2 U-Netに再帰的ダイナミクスを統合することで、最先端の前向き伝播モデルと同等またはそれ以上の性能向上が達成できるか？
• RQ3 Gamma-netは、自然画像の輪郭から学習することで、傾き錯覚（tilt illusion）と類似した人間らしい文脈的バイアスを再現できるか？
• RQ4 このようなバイアスの出現が、輪郭検出における再帰的処理の結果であるならば、生物学的視覚理論を支持する証拠となるか？

主な発見

• Gamma-netは、自然画像および細胞セグメンテーションベンチマークにおいて、最先端のモデルと同等またはそれ以上の性能を達成する。
• 特に小規模データセットにおいて顕著な性能向上を示し、再帰的処理のおかげでデータ効率が向上していることが明らかになった。
• Gamma-netは、人間の心理学的実験で観察される傾き錯覚と類似した、方向推定における文脈的バイアスを再現する。
• この顕在的バイアスは、輪郭検出の学習から自然に生じており、このような錯覚が再帰的視覚計算の副産物であるという仮説を支持する。
• 再帰的フィードバック機構により、複数の処理段階にわたり特徴の精錬が向上し、ロバストネスと一般化性能が向上する。
• モデルの挙動は、生物学的視覚における再帰的処理理論と整合しており、同様のメカニズムが人工視覚システムの向上に寄与できる可能性を示唆している。