[논문 리뷰] Scene Labeling using Gated Recurrent Units with Explicit Long Range Conditioning

Qiangui Huang, Weiyue Wang외 3명|arXiv (Cornell University)|2016. 11. 22.

Medical Image Segmentation Techniques참고 문헌 40인용 수 4

한 줄 요약

이 논문은 이미지 내 장거리 공간적 상관관계를 모델링할 때 전통적인 RNN에서 발생하는 '영향 감쇠' 문제를 해결하기 위해 명시적 장거리 조건부 조절을 갖춘 새로운 게이팅 순환 단위인 GRU-ELC를 제안한다. 스위프 연결을 통해 먼 거리에 위치한 맥락적으로 관련된 특징에 대해 은닉 상태를 명시적으로 조건화시킴으로써, 다중 척도 맥락 모델링이 효과적으로 가능해지며, 세 가지 표준 장면 레이블링 데이터셋에서 최신 기준 성능을 달성하여 창문, 문, 객체 경계와 같은 미세한 구조의 분할 성능이 향상된다.

ABSTRACT

Recurrent neural network (RNN), as a powerful contextual dependency modeling framework, has been widely applied to scene labeling problems. However, this work shows that directly applying traditional RNN architectures, which unfolds a 2D lattice grid into a sequence, is not sufficient to model structure dependencies in images due to the "impact vanishing" problem. First, we give an empirical analysis about the "impact vanishing" problem. Then, a new RNN unit named Recurrent Neural Network with explicit long range conditioning (RNN-ELC) is designed to alleviate this problem. A novel neural network architecture is built for scene labeling tasks where one of the variants of the new RNN unit, Gated Recurrent Unit with Explicit Long-range Conditioning (GRU-ELC), is used to model multi scale contextual dependencies in images. We validate the use of GRU-ELC units with state-of-the-art performance on three standard scene labeling datasets. Comprehensive experiments demonstrate that the new GRU-ELC unit benefits scene labeling problem a lot as it can encode longer contextual dependencies in images more effectively than traditional RNN units.

연구 동기 및 목표

• 2D 이미지 데이터에 표준 RNN을 적용할 경우, 2D에서 1D로 펼쳐내는 과정에서 발생하는 장기 시퀀스 길이로 인해 발생하는 '영향 감쇠' 문제의 한계를 조사한다.
• 기존 RNN, 특히 GRU나 LSTM를 사용하더라도 효과적으로 포착하지 못하는 이미지 내 장거리 공간적 상관관계를 모델링하는 데 도전한다.
• 멀리 떨어져 있지만 맥락적으로 관련된 특징에 대해 은닉 상태를 명시적으로 조건화시킴으로써 장거리 맥락을 유지할 수 있도록 새로운 RNN 유닛인 RNN-ELC를 설계한다.
• CNN과의 통합이 원활하게 이루어지고 엔드 투 엔드 학습이 가능한, GRU-ELC 유닛을 활용한 새로운 장면 레이블링 프레임워크를 개발한다.
• 세분화된 구조와 희귀 카테고리에서의 정확도 향상을 보이며, 표준 장면 레이블링 벤치마크에서 최신 기준 성능을 입증한다.

제안 방법

• 학습 가능한 조건부 메커니즘을 통해 시간적으로 멀리 떨어져 있지만 공간적으로 관련된 특징들에 대해 현재 은닉 상태를 명시적으로 조건화시키는 일반화된 RNN 유닛인 RNN-ELC를 제안한다.
• GRU-ELC를 RNN-ELC의 특정 변종으로 설계하여, 업데이트 및 리셋 게이트에 더불어 명시적 장거리 조건부 조절 기능을 통합함으로써 장기 시퀀스에서 기울기 흐름의 안정성을 확보한다.
• RNN 아키텍처 내에서 인접하지 않은 은닉 상태 간에 스위프 연결을 도입하여 장거리 맥락 정보를 직접 전파한다.
• VGG-16의 (conv3_3 또는 conv4_3) 특징을 입력으로 사용하여, CNN 기반 인코더-디코더 프레임워크에 GRU-ELC 유닛을 통합하고 엔드 투 엔드 학습을 수행한다.
• 희귀 카테고리 성능 향상을 위해 학습 중 중앙값 빈도 보정 기법을 적용하여 낮은 자원을 가진 클래스에 대한 일반화 능력을 향상시킨다.
• 전체 해상도 분할 맵을 재구성하기 위해 업샘플링 및 컨볼루션 레이어를 포함한 다중 척도 디코더를 사용한다.

실험 결과

연구 질문

• RQ1 2D 이미지 격자 구조를 1D 시퀀스로 전개했을 때, 장거리 공간적 상관관계를 모델링하는 데 있어 '영향 감쇠' 문제가 RNN 성능을 심각하게 저하시키는가?
• RQ2 이미지 데이터에서 유도된 장기 시퀀스에서 RNN 유닛의 명시적 장거리 조건부 조절이 기울기 감쇠 문제를 효과적으로 완화할 수 있는가?
• RQ3 GRU-ELC는 장면 레이블링에서 다중 척도 맥락적 상관관계를 모델링하는 데 있어 표준 GRU와 LSTM보다 어떻게 비교되는가?
• RQ4 제안된 GRU-ELC 기반 모델은 미세한 구조와 희귀 카테고리에서 분할 정확도를 어느 정도 향상시키는가?
• RQ5 GRU-ELC 유닛은 CNN 기반 엔드 투 엔드 장면 레이블링 프레임워크에 효과적으로 통합될 수 있는가?

주요 결과

• GRU-ELC는 SiftFlow, NYUDv2, Stanford Background의 세 가지 표준 장면 레이블링 데이터셋에서 최신 기준 성능을 달성한다.
• SiftFlow 데이터셋에서, 모델은 천공(24.4% 훈련 데이터 비율)에서 96.7%의 정확도를, 태양(0.008% 비율)에서 96.5%의 정확도를 기록하여 희귀 카테고리에서 뛰어난 성능을 보였다.
• 모델은 국소 세부 구조의 보존 성능를 크게 향상시켜, 종종 정답 레이블에 존재하지 않는 창문, 문, 모니터, TV 화면 등의 미세한 구조를 정확히 분할하였다.
• 시각적 비교 결과, NYUDv2에서 FCN-8s 및 Eigen 등과 비교해 경계 감지 성능가 뛰어나고 과도한 분할 현상이 감소하였다.
• 각 클래스 분석 결과, 새(28.3%)나 표지판(75.1%)과 같은 낮은 자원을 가진 클래스에서도 일관된 높은 정확도를 확보하였다.
• 중앙값 빈도 보정 기법의 사용은 희귀 카테고리에서의 성능 향상을 추가로 향상시켰으며, GRU-ELC와의 조합에서 그 효과가 확인되었다.