[논문 리뷰] DifNet: Semantic Segmentation by Diffusion Networks

Peng Jiang, Fanglin Gu외 3명|arXiv (Cornell University)|2018. 05. 21.

Advanced Neural Network Applications참고 문헌 19인용 수 18

한 줄 요약

DifNet는 작업을 시드 탐지와 유사도 추정으로 분해하는 새로운 의미 분할 프레임워크를 제안한다. 계층적 유사도 행렬에 대한 연결된 랜덤 워크를 사용하여 이미지 전반에 걸쳐 시드 정보를 전파한다. 이 확산 기반 접근법은 경계 국소화를 향상시키고 공간적 분할을 감소시켜, 후처리 없이 엔드 투 엔드 훈련으로 Pascal VOC 및 Pascal Context에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Deep Neural Networks (DNNs) have recently shown state of the art performance on semantic segmentation tasks, however, they still suffer from problems of poor boundary localization and spatial fragmented predictions. The difficulties lie in the requirement of making dense predictions from a long path model all at once since details are hard to keep when data goes through deeper layers. Instead, in this work, we decompose this difficult task into two relative simple sub-tasks: seed detection which is required to predict initial predictions without the need of wholeness and preciseness, and similarity estimation which measures the possibility of any two nodes belong to the same class without the need of knowing which class they are. We use one branch network for one sub-task each, and apply a cascade of random walks base on hierarchical semantics to approximate a complex diffusion process which propagates seed information to the whole image according to the estimated similarities. The proposed DifNet consistently produces improvements over the baseline models with the same depth and with the equivalent number of parameters, and also achieves promising performance on Pascal VOC and Pascal Context dataset. OurDifNet is trained end-to-end without complex loss functions.

연구 동기 및 목표

• 딥 러닝 기반 의미 분할에서 낮은 경계 국소화 및 공간적으로 분할된 예측 문제를 해결하기 위해.
• 밀도 높은 예측의 부담을 줄이기 위해 작업을 두 개의 더 단순한 하위 작업인 시드 탐지와 유사도 추정으로 분해하기 위해.
• 계층적 의미 유사성 기반의 확산 과정을 통해 장거리 의존성을 모델링하고 세밀한 세부 사항을 유지하기 위해.
• 유사한 깊이와 파rameter 수를 가진 기준 모델에 비해 일관된 성능 향상을 달성하기 위해.
• 복잡한 손실 함수나 후처리 없이 엔드 투 엔드 훈련을 가능하게 하기 위해.

제안 방법

• 모델은 두 가지 브랜치 아키텍처를 사용한다: 초기 점수 맵과 중요도 맵을 예측하는 시드 브랜치와 다중 수준 특징을 추출하여 전이 행렬을 계산하는 유사도 브랜치.
• 전이 행렬은 픽셀 간 랜덤 워크의 확률을 나타내며, 다양한 추상화 수준의 의미 유사성을 인코딩한다.
• 다섯 단계의 랜덤 워크 연속 작동이 복잡한 확산 과정을 근사하며, 각 단계에서 유사도 추정값에 가중된 시드 값의 집합을 통해 예측를 정밀화한다.
• 확산 과정은 최종 픽셀 반응을 시드 값의 가중합으로 계산하여, 공간적 거리와 무관하게 비국소적이고 장거리 특징 전파를 가능하게 한다.
• 중요도 맵은 시드 영향력을 동적으로 조절하여 잡음이 많거나 관련성이 없는 영역을 억제하고 두드러진 객체 부분을 강화한다.
• 모든 네트워크는 표준 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련되며, 추가 후처리나 보조 손실이 없다.

실험 결과

연구 질문

• RQ1 의미 분할을 시드 탐지와 유사도 추정으로 분해하는 것이 경계 국소화를 향상시키고 공간적 분할을 감소시키는가?
• RQ2 계층적 유사도 행렬에 대한 연결된 랜덤 워크가 의미 분할에서 장거리 의존성을 효과적으로 모델링하는가?
• RQ3 제안된 확산 메커니즘이 동일한 깊이와 파rameter 수를 가진 표준 FCN 기반 모델보다 우수한가?
• RQ4 중요도 맵은 확산 과정 중에 분할 예측의 정밀화에 어떻게 영향을 미치는가?
• RQ5 복잡한 손실 함수나 CRF 후처리 없이도 모델이 뛰어난 성능을 달성할 수 있는가?

주요 결과

• DifNet는 Pascal VOC 2012 및 Pascal Context 데이터셋에서 동일한 깊이와 동일한 파rameter 수를 가진 기준 모델에 비해 일관된 성능 향상을 달성한다.
• Pascal VOC 2012 검증 세트에서 평균 교차율(mIoU)은 83.4%를 기록하여 최신 기술 수준의 성능을 입증한다.
• 카스케이드에서 2번째 및 4번째 랜덤 워크를 제거하면 Pascal VOC에서 1%의 성능 저하가 발생하여 각 확산 단계의 중요성을 입증한다.
• DifNet-50의 추론 시간은 Sim-Deeplab-101(0.039s 대비 0.036s)과 유사하며, 모델 병렬화를 통해 2배의 속도 향상 가능성이 있다.
• 역전파 시간은 Sim-Deeplab-101 대비 1.3배 더 길지만, 추론 성능 향상 고려 시 이는 수용 가능한 수준이다.
• 시각화 결과는 전이 행렬이 저수준(질감, 색상)과 고수준(객체 수준) 유사성을 모두 포착하며, 장거리 의존성이 효과적으로 모델링됨을 확인한다.