[논문 리뷰] Sample-efficient image segmentation through recurrence

Drew Linsley, Junkyung Kim외 2명|arXiv (Cornell University)|2018. 11. 28.

CCD and CMOS Imaging Sensors인용 수 9

한 줄 요약

Gamma-net는 우도망 아키텍처에 피드포워드, 수평적, 상향식 연결을 통해 게이팅된 순환 동역학을 도입하여 영양동물 시각 피질의 순환 피드백을 영감으로 삼는다. 이는 이미지 및 세포 분할에서 최신 기술 수준 또는 그 이상의 성능을 달성하며, 소규모 데이터셋에서 뚜렷한 성능 향상을 보이고 인간 심리물리학과 일치하는 잠재적 맥락적 편향을 보이며 생물학적으로 유래된 순환성에 의해 개선된 데이터 효율성을 입증한다.

ABSTRACT

There is a growing consensus in vision science that recurrent neural networks constitute better models of visual cortex than feedforward architectures. Yet, feedforward neural networks continue to dominate most popular computer vision challenges. We bridge this gap with the Gamma-net. Inspired by recurrent feedback loops prevalent in the mammalian visual cortex, Gamma-net introduces gated recurrent dynamics through feedforward, horizontal, and top-down connections into the popular U-Net architecture. We demonstrate that Gamma-net performs on par or better than state-of-the-art architectures for dense prediction in both natural image and cell segmentation datasets. The re-entrant processing of the Gamma-net lead to especially large performance gains over the state-of-the-art on smaller datasets. We further show that Gamma-net reproduces a contextual bias in orientation estimation which is consistent with the tilt illusion in human psychophysics. The existence of this bias in Gamma-net -- which emerges from contour detection training in natural images -- supports the theory that this visual illusion is a byproduct of recurrent computational mechanisms underlying contour detection. Vision science theory suggests that recurrent processing underlies robust biological vision, and we demonstrate that similar principles can improve the data efficiency of computer vision systems.

연구 동기 및 목표

• 생물학적으로 유래된 순환 신경망과 컴퓨터 시각 분야에서 지배적인 피드포워드 아키텍처 사이의 격차를 좁히기 위해.
• 이미지 및 세포 분할과 같은 조밀한 예측 작업에서의 데이터 효율성을 향상시키기 위해.
• 순환 메커니즘이 인간의 심리물리학에서 관찰되는 유사한 맥락적 편향을 재현할 수 있는지 조사하기 위해.
• 계산 효율성을 희생시키지 않고 우도망 아키텍처에 순환 동역학을 통합하기 위해.

제안 방법

• 피드포워드, 수평적, 상향식 스킵 연결을 통해 우도망 인코더-디코더 프레임워크에 게이팅된 순환 단위(GRUs)를 도입한다.
• 특징 표현이 다중 처리 단계에 걸쳐 반복적으로 개선될 수 있도록 순환 피드백 루프를 활용한다.
• 윤곽 검출을 사전 훈련 목적으로 사용하여 방향 추정에서 맥락적 편향의 기원을 유도한다.
• 반복적 개선을 위한 순환 처리를 가능하게 하면서도 피드포워드 추론 경로를 유지한다.
• 순환 구성 요소의 훈련을 안정화하기 위해 잔차 연결 및 정규화 레이어를 사용한다.
• 일반화 능력과 데이터 효율성을 평가하기 위해 자연 영상 및 생물학적 세포 영상에서 네트워크를 종합적으로 훈련시킨다.

실험 결과

연구 질문

• RQ1 순환 피드백 메커니즘이 소규모 데이터셋에서 특히 영상 분할 작업의 데이터 효율성을 향상시킬 수 있는가?
• RQ2 우도망에 순환 동역학을 통합함으로써 최신 기술 수준의 피드포워드 모델과 비교해 성능 향상을 이룰 수 있는가?
• RQ3 Gamma-net가 자연 영상 윤곽에서 학습을 통해 인간 유사 맥락적 편향, 예를 들어 기울기 환각을 재현할 수 있는가?
• RQ4 이러한 편향의 기원이 윤곽 검출에서의 순환 처리의 결과일 수 있으며, 생물학적 시각 이론를 지지하는가?

주요 결과

• Gamma-net는 자연 영상 및 세포 분할 벤치마크에서 최신 기술 수준의 모델과 동등하거나 그 이상의 성능을 달성한다.
• 특히 소규모 데이터셋에서 뚜렷한 성능 향상을 보이며, 순환 처리 덕분에 데이터 효율성이 향상됨을 입증한다.
• Gamma-net는 인간 심리물리학에서 관찰되는 기울기 환각과 유사한 방향 추정 맥락적 편향을 재현한다.
• 이러한 잠재적 편향은 윤곽 검출 훈련에서 자연스럽게 기원하며, 이러한 환각이 순환 시각 계산의 부산물임을 지지하는 가설을 뒷받침한다.
• 순환 피드백 메커니즘은 여러 처리 단계에 걸쳐 특징을 개선함으로써 강건성과 일반화 능력을 향상시킨다.
• 모델의 행동은 생물학적 시각에서의 순환 처리 이론과 일치하며, 유사한 메커니즘이 인공 시각 시스템을 향상시킬 수 있음을 시사한다.