[논문 리뷰] DiffusionEdge: Diffusion Probabilistic Model for Crisp Edge Detection

Yunfan Ye, Kai Xu외 3명|arXiv (Cornell University)|2024. 01. 04.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 후처리 없이 날카럽고 정확한 에지 맵을 직접 생성하는 일반적인 에지 검출을 위한 최초의 확산 확률 모델인 DiffusionEdge를 제안한다. 불확실성 인식 힘겨움과 적응형 푸리에 필터링을 통해 잠재 공간에서 훈련함으로써, 여러 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, NYUDv2에서 ODS, OIS, AC는 각각 최대 30.2%, 28.1%, 65.1% 향상되었다.

ABSTRACT

Limited by the encoder-decoder architecture, learning-based edge detectors usually have difficulty predicting edge maps that satisfy both correctness and crispness. With the recent success of the diffusion probabilistic model (DPM), we found it is especially suitable for accurate and crisp edge detection since the denoising process is directly applied to the original image size. Therefore, we propose the first diffusion model for the task of general edge detection, which we call DiffusionEdge. To avoid expensive computational resources while retaining the final performance, we apply DPM in the latent space and enable the classic cross-entropy loss which is uncertainty-aware in pixel level to directly optimize the parameters in latent space in a distillation manner. We also adopt a decoupled architecture to speed up the denoising process and propose a corresponding adaptive Fourier filter to adjust the latent features of specific frequencies. With all the technical designs, DiffusionEdge can be stably trained with limited resources, predicting crisp and accurate edge maps with much fewer augmentation strategies. Extensive experiments on four edge detection benchmarks demonstrate the superiority of DiffusionEdge both in correctness and crispness. On the NYUDv2 dataset, compared to the second best, we increase the ODS, OIS (without post-processing) and AC by 30.2%, 28.1% and 65.1%, respectively. Code: https://github.com/GuHuangAI/DiffusionEdge.

연구 동기 및 목표

• 후처리에 의존하지 않고도 정확성과 날카움을 동시에 확보하는 데 장기적으로 지속된 과제를 해결하기 위해.
• 확산 확률 모델(DPM)이 인코더-디코더 네트워크의 아키텍처적 제약을 극복할 수 있는지 탐색하기 위해.
• 픽셀 수준의 교차 엔트로피 손실에서 유도된 불확실성 인식 감시를 유지하면서도, 잠재 공간에서 효과적인 DPM 훈련을 가능하게 하기 위해.
• 분리된 아키텍처와 적응형 푸리에 필터링을 통해 추론 효율성과 특징 적응성을 향상시키기 위해.
• 확산 모델이 엔드 투 엔드의 후속 작업에 적합한 단일 폭, 고품질의 에지 맵을 직접 생성할 수 있음을 입증하기 위해.

제안 방법

• 계산 비용을 줄이면서도 고해상도 에지 예측을 유지하기 위해 잠재 공간에서 확산 확률 모델(DPM)을 채택한다.
• 픽셀 수준의 교차 엔트로피 손실에서 유도된 기울기를 잠재 공간으로 전달하기 위해 불확실성 힘겨움을 활용하여, 평가자에 대한 강건한 불확실성 사전 지식을 유지한다.
• 특징 학습 단계와 정밀 조정 단계를 분리함으로써 노이즈 제거 과정을 가속화하기 위해 분리된 아키텍처를 도입한다.
• 잠재 공간에서 주파수 성분을 선택적으로 조정하기 위해 적응형 푸리에 필터를 적용하여, 에지 국소화와 날카움을 향상시킨다.
• 표준 픽셀 수준의 감시를 사용하여 잠재 매개변수를 최적화하기 위해 힘겨움 기반 훈련 전략을 사용하여 복잡한 재학습을 피한다.
• DPM의 반복적 노이즈 제거 과정을 활용하여 원본 이미지 해상도에서 직접 복잡한 에지 분포를 학습함으로써, 업샘플링 아티팩트를 방지한다.

실험 결과

연구 질문

• RQ1 확산 확률 모델이 일반적인 에지 검출에 효과적으로 적용되어 정확성과 날카움을 동시에 확보할 수 있는가?
• RQ2 잠재 공간에서 확산 모델을 훈련할 때 픽셀 수준의 교차 엔트로피 손실에서 기인한 불확실성 인식 감시를 어떻게 유지할 수 있는가?
• RQ3 푸리에 도메인에서의 적응형 주파수 필터링이 확산 기반 에지 검출에서 에지 국소화와 날카움을 향상시킬 수 있는가?
• RQ4 분리된 아키텍처는 확산 기반 에지 검출에서 고성능을 유지하면서도 더 빠른 추론을 가능하게 하는가?
• RQ5 확산 모델이 후처리 없이 단일 폭, 고품질의 에지 맵을 생성할 수 있으며, 기존의 최신 기술 수준의 CNN 기반 방법보다 정확성과 날카움에서 뛰어난 성능을 보일 수 있는가?

주요 결과

• NYUDv2 데이터셋에서 DiffusionEdge는 두 번째로 우수한 방법 대비 ODS, OIS(후처리 없이), AC를 각각 30.2%, 28.1%, 65.1% 향상시켰다.
• BIPED 데이터셋에서 DiffusionEdge는 AC 0.849를 기록하여, 거의 완벽한 단일 폭 에지 예측과 최소한의 모호성을 보였다.
• Multicue에서 DiffusionEdge는 AC 0.462를 기록하여, 랜덤 플립만을 사용한 데이터 증강 조건에서도 PiDiNet 기반 방법보다 날카움 측면에서 최대 0.138 향상되었다.
• 질적 성능이 뛰어나, 정확도가 매우 높고 경계가 날카럽게 국소화된 에지가 실제값에 매우 가까이 부합하는 결과를 보였다.
• 특히 복잡한 무늬를 포함한 도전적인 벤치마크에서 UAED 및 EDTER와 같은 최신 기술 수준의 CNN 기반 모델보다 정확성과 날카움 모두에서 뛰어난 성능을 보였다.
• 절단 실험 결과, 적응형 푸리에 필터와 불확실성 힘겨움이 높은 성능을 달성하는 데 핵심 요소임을 확인하였으며, AC 및 ODS 지표에서 뚜렷한 향상이 있었다.