[논문 리뷰] Dense Recurrent Neural Networks for Scene Labeling

Heng Fan, Haibin Ling|arXiv (Cornell University)|2018. 01. 21.

Advanced Neural Network Applications참고 문헌 46인용 수 7

한 줄 요약

이 논문은 밀도 높은 비방향 순환 그래프(D-UCG)와 그로부터 분해된 밀도 높은 DAGs(D-DAGs)를 통해 모든 이미지 단위 간에 풍부한 밀도 높은 맥락적 의존성을 모델링함으로써 장면 레이블링을 위한 밀도 높은 순환 신경망(DD-RNNs)을 제안한다. 주목할 만한 장거리 의존성을 우선시하기 위해 주목 메커니즘을 통합하고 CNN과 융합함으로써, PASCAL Context, MIT ADE20K, SiftFlow 벤치마크에서 기존의 RNN 기반 및 CNN 기반 접근법을 능가하는 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Recently recurrent neural networks (RNNs) have demonstrated the ability to improve scene labeling through capturing long-range dependencies among image units. In this paper, we propose dense RNNs for scene labeling by exploring various long-range semantic dependencies among image units. In comparison with existing RNN based approaches, our dense RNNs are able to capture richer contextual dependencies for each image unit via dense connections between each pair of image units, which significantly enhances their discriminative power. Besides, to select relevant and meanwhile restrain irrelevant dependencies for each unit from dense connections, we introduce an attention model into dense RNNs. The attention model enables automatically assigning more importance to helpful dependencies while less weight to unconcerned dependencies. Integrating with convolutional neural networks (CNNs), our method achieves state-of-the-art performances on the PASCAL Context, MIT ADE20K and SiftFlow benchmarks.

연구 동기 및 목표

• CNN이 장거리 맥락적 의존성을 포착하는 데에 한계가 있어, 시각적으로 유사한 픽셀(예: 모래 vs. 도로)을 잘못 분류하는 문제를 해결하기 위해.
• 기존의 RNN 기반 장면 레이블링 방법에서 UCG의 희박한 DAG 근사에 의존함으로써 제한된 의존성 모델링이 발생하고, 중요한 장거리 신호를 놓치는 문제를 해결하기 위해.
• 모든 가능한 쌍방향 의존성을 활용함으로써 이미지 단위의 판별 능력을 향상시키기 위해 밀도 높은 비방향 순환 그래프(D-UCG) 아키텍처를 도입하기 위해.
• RNN 프레임워크 내부의 주목 메커니즘을 통해 관련 맥락적 의존성은 강조하고 불필요한 의존성은 억제함으로써 선택적 처리를 가능하게 하기 위해.
• DD-RNN과 CNN을 통합한 엔드 투 엔드 장면 레이블링 시스템을 개발하여 표준 벤치마크에서 뛰어난 성능을 달성하기 위해.

제안 방법

• 모든 이미지 단위가 서로 모두 연결된 밀도 높은 비방향 순환 그래프(D-UCG)를 제안하여 포괄적인 의존성 모델링을 가능하게 한다.
• D-UCG를 여러 개의 밀도 높은 DAG(D-DAGs)로 분해하여 순방향 RNN 처리와 역전파를 가능하게 한다.
• 모든 이미지 단위를 통해 정보를 전파하는 밀도 높은 연결을 갖춘 DAG 기반의 밀도 높은 RNN(DD-RNN) 아키텍처를 설계하여 기존 RNN보다 더 풍부한 맥락적 신호를 포착한다.
• DD-RNN 내부에 주목 메커니즘을 도입하여 정보가 많은 의존성(예: '모래' 분류에 있어 '물')에는 높은 가중치를, 불필요한 의존성(예: '하늘')에는 낮은 가중치를 할당함으로써 동적으로 중요도를 조절한다.
• 사전 학습된 VGG 기반 CNN을 특징 추출에 사용하고, DD-RNN을 맥락적 추론에 활용한 후, 전복전환층(deconvolutional layers)을 통해 전체 해상도의 세그멘테이션을 수행하는 하이브리드 아키텍처를 구현한다.
• 예측 결과를 더욱 정교하게 다듬기 위해 CRF 후처리를 적용하여 모든 벤치마크에서 IoU와 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 밀도 높은 비방향 순환 그래프(D-UCG)를 통해 모든 쌍방향 의존성을 모델링하면, 희박하거나 DAG 기반 의존성 모델링 대비 장면 레이블링 성능 향상이 이루어지는가?
• RQ2 RNN 내부의 주목 메커니즘이 관련성이 높은 장거리 의존성을 선택적으로 강조하고 불필요한 의존성을 억제함으로써 판별 능력을 향상시키는가?
• RQ3 DD-RNN과 CNN의 통합이 표준 장면 레이블링 벤치마크에서 최신 기술 수준(SOTA)의 성능을 달성하는가?
• RQ4 이전의 RNN 기반 및 CNN 기반 접근법과 비교해 볼 때, 정확도, IoU, 그리고 모호한 픽셀 클래스에 대한 강건성 측면에서 본 모델의 성능은 어떠한가?
• RQ5 주목 메커니즘이 모델 성능에 미치는 영향은 무엇이며, 다양한 데이터셋에서 일관되게 성능 향상을 이끌어내는가?

주요 결과

• PASCAL Context 벤치마크에서 제안된 DD-RNNs는 평균 IoU 36.3%를 기록하여 베이스라인(32.1%)과 FCN-8s+Prior(32.9%) 및 Cascade-Dilated(34.9%) 등의 최신 기술 수준(SOTA) 방법들을 능가한다.
• MIT ADE20K에서 모델은 CRF 없이 평균 IoU 35.7%를 기록하고, CRF 적용 시 36.3%로 상승하여, 베이스라인(32.1%)을 뛰어넘고, ParseNet(34.9%) 및 Cascade-SegNet(27.5%)를 초월한다.
• SiftFlow에서 모델은 CRF 적용 시 평균 IoU 46.3%를 기록하여 이전의 최신 기술 수준(SOTA) 방법인 DAG-RNN-CRF(44.8%)와 FCN-8s(41.2%)를 크게 앞서며 성능을 뛰어넘는다.
• 제거 실험(ablation studies) 결과 주목 메커니즘이 모든 데이터셋에서 성능 향상을 이끌어내는 것으로 확인되었다. 예를 들어, SiftFlow에서 CRF 없이 주목 기능이 없는 경우 IoU는 45.2%에서 주목 기능이 있는 경우 45.9%로 상승한다.
• 모델은 효율적이며, 크기는 190 MB이고, 이미지당 추론 시간은 280 ms이다. 이는 FCN-8s(497 MB, 320 ms)와 DilatedNet(513 MB, 360 ms)보다 성능이 뛰어나면서도 더 작고 빠른 편이다.