[논문 리뷰] DAG-Recurrent Neural Networks For Scene Labeling

Bing Shuai, Zhen Zuo외 2명|arXiv (Cornell University)|2015. 09. 02.

Medical Image Segmentation Techniques참고 문헌 44인용 수 16

한 줄 요약

이 논문은 장거리 문맥적 의존성을 모델링하기 위해 이미지 단위를 방향성 비순환 그래프(DAG)로 구조화함으로써 장거리 문맥적 의존성을 효과적으로 포착할 수 있도록 DAG-순환 신경망(DAG-RNN)을 제안한다. 이 방법은 국소적 특징의 구분 능력을 향상시키고, 컨볼루션 및 디컨볼루션 계층과 통합되어 엔드 투 엔드 학습이 가능하며, SiftFlow, CamVid, Barcelona 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다. 특히 새로운 클래스 가중치 함수를 통해 희귀 클래스에서 8.6%의 정확도 향상을 기록한다.

ABSTRACT

In image labeling, local representations for image units are usually generated from their surrounding image patches, thus long-range contextual information is not effectively encoded. In this paper, we introduce recurrent neural networks (RNNs) to address this issue. Specifically, directed acyclic graph RNNs (DAG-RNNs) are proposed to process DAG-structured images, which enables the network to model long-range semantic dependencies among image units. Our DAG-RNNs are capable of tremendously enhancing the discriminative power of local representations, which significantly benefits the local classification. Meanwhile, we propose a novel class weighting function that attends to rare classes, which phenomenally boosts the recognition accuracy for non-frequent classes. Integrating with convolution and deconvolution layers, our DAG-RNNs achieve new state-of-the-art results on the challenging SiftFlow, CamVid and Barcelona benchmarks.

연구 동기 및 목표

• 장면 레이블링에서 국소적 이미지 표현의 한계를 해결하기 위해, 장거리 문맥적 의존성을 포착하지 못하는 문제를 해결한다.
• 일반적인 RNN이 이미지 단위를 모델링하는 데 흔히 사용되는 루프가 있고 순환적인 비방향 그래프(UCG)와 호환되지 않는 문제를 해결한다.
• 구조화된 순환 모델링을 통해 전반적인 장면의 문맥을 인코딩함으로써 국소적 특징의 구분 능력을 향상시킨다.
• 자연 장면 이미지에서 클래스 빈도의 불균형으로 인해 희귀 의미 클래스의 성능 저하 문제를 완화한다.
• 컨볼루션, DAG-RNN, 디컨볼루션을 통합한 엔드 투 엔드 학습 가능한 완전한 레이블링 네트워크를 개발한다.

제안 방법

• 논문은 이미지 단위를 비방향 순환 그래프(UCG)로 모델링하며, 이를 RNN 적용을 가능하게 하기 위해 다수의 방향성 비순환 그래프(DAG)로 분해한다.
• DAG-RNN은 표준 RNN의 일반화로, 위상 순서를 가진 노드의 순차적 처리를 허용하는 DAG-구조 데이터를 처리하기 위해 제안된다.
• 각 DAG는 독립적으로 DAG-RNN에 의해 처리되어 장거리 의존성을 인코딩한 문맥 인식 히든 표현을 생성한다.
• 다양한 DAG에서 유도된 문맥 인식 특징은 융합되며, 컨볼루션 및 디컨볼루션 계층과 결합되어 엔드 투 엔드 학습 가능한 완전한 레이블링 네트워크를 형성한다.
• 훈련 중에 희귀 클래스에 동적으로 주목할 수 있도록 새로운 클래스 가중치 함수를 제안한다. 이는 희귀 클래스의 인식 정확도 향상에 기여한다.
• 백프로파게이션를 사용하여 엔드 투 엔드로 네트워크를 학습하며, DAG-RNN은 순환 메시지 전달을 통해 문맥 특징을 정교화한다.

실험 결과

연구 질문

• RQ1 DAG-RNN은 장면 레이블링에서 이미지 단위 간의 장거리 의미적 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 DAG-RNN을 통한 문맥적 의존성 모델링은 국소적 이미지 표현의 구분 능력을 어떻게 향상시키는가?
• RQ3 DAG-RNN은 특히 '모래'와 '도로'처럼 시각적으로 유사한 클래스에서 국소적 모호성을 어느 정도 감소시킬 수 있는가?
• RQ4 새로운 클래스 가중치 함수는 불균형 데이터셋에서 희귀 의미 클래스의 인식 정확도를 상당히 향상시킬 수 있는가?
• RQ5 컨볼루션 및 디컨볼루션 계층과의 통합이 표준 장면 레이블링 벤치마크에서 최신 기술 수준의 성능을 달성하는 데 기여하는가?

주요 결과

• 제안된 DAG-RNN(8) 모델은 국소적 특징이 구분 능력이 떨어지는 설정 1에서 SiftFlow 데이터셋에서 기준 CNN-65 대비 평균 정확도 11.2% 향상률을 기록한다.
• 사전 훈련된 VGG-conv5 특징을 사용하는 설정 2에서도 DAG-RNN(8)은 여전히 희귀 클래스에서 놀라운 8.6%의 정확도 향상률을 기록하여 강력한 국소적 특징이 존재하는 상황에서도 효과성을 입증한다.
• SiftFlow 벤치마크에서 전체 네트워크(VGG-conv5-DAG-RNN(8))는 전반적인 정확도 96.3%와 클래스 정확도 55.7%를 기록하며 이전 최신 기술 수준의 방법들을 능가한다.
• 정성적 결과는 DAG-RNN이 국소 일致성(이웃 픽셀이 유사한 레이블을 받음)과 의미 일관성(공간적으로 떨어진 픽셀이 의미적으로 타당한 레이블을 할당받음)을 강제로 적용함을 보여준다.
• 클래스 가중치 함수는 희귀 클래스의 인식을 크게 향상시키며, 표준 크로스 엔트로피 손실 대비 SiftFlow에서 평균 클래스 정확도 5.14% 향상률을 기록한다.
• 이 방법은 SiftFlow, CamVid, Barcelona와 같은 세 가지 과제가 높은 벤치마크에서 최신 기술 수준의 성능을 달성하며, 모든 메트릭에서 일관된 향상을 기록한다.