[논문 리뷰] Tiny and Efficient Model for the Edge Detection Generalization

Xavier Soria Poma, Yachuan Li외 2명|arXiv (Cornell University)|2023. 08. 12.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 BIPED 데이터셋에서 새로운 효율적인 훈련 절차를 사용해 훈련된, 엣지 검출을 위한 경량 컨볼루션 신경망인 TEED를 제안한다. 파라미터 수는 단 58K개이며, 이는 매우 작은 크기이지만 일반화 성능가치로 최신 기술 수준(SOTA)을 달성하고 있으며, 날카럽고 고해상도의 엣지 맵을 생성하여 정량적 지표와 스케치 기반 이미지 검색 작업 모두에서 더 큰 모델들을 능가한다.

ABSTRACT

Most high-level computer vision tasks rely on low-level image operations as their initial processes. Operations such as edge detection, image enhancement, and super-resolution, provide the foundations for higher level image analysis. In this work we address the edge detection considering three main objectives: simplicity, efficiency, and generalization since current state-of-the-art (SOTA) edge detection models are increased in complexity for better accuracy. To achieve this, we present Tiny and Efficient Edge Detector (TEED), a light convolutional neural network with only $58K$ parameters, less than $0.2$% of the state-of-the-art models. Training on the BIPED dataset takes $less than 30 minutes$, with each epoch requiring $less than 5 minutes$. Our proposed model is easy to train and it quickly converges within very first few epochs, while the predicted edge-maps are crisp and of high quality. Additionally, we propose a new dataset to test the generalization of edge detection, which comprises samples from popular images used in edge detection and image segmentation. The source code is available in https://github.com/xavysp/TEED.

연구 동기 및 목표

• 저수준 컴퓨터 비전 작업에서 경량적이며 효율적이고 일반화 능력이 뛰어난 엣지 검출 모델의 필요성을 해결한다.
• 현재 SOTA 모델들이 계산 비용이 높고, 광범위한 초모수 튜닝 또는 전이 학습이 필요하다는 한계를 극복한다.
• 실제 세계의 다양한 이미지에서 엣지 검출의 일반화 능력을 공정하게 평가하기 위해 새로운 벤치마크 데이터셋인 UDED를 개발한다.
• 최소한의 계산 비용으로도 빠른 훈련과 수렴을 가능하게 하면서도 높은 엣지 검출 품질을 유지한다.
• 스케치 기반 이미지 검색과 같은 후행 작업에서 소형 모델이 우수한 일반화 성능을 낼 수 있음을 입증한다.

제안 방법

• 최소한의 추론 및 훈련 비용을 위해 설계된 단지 58K 파라미터를 가진 초소형 CNN 아키텍처인 TEED를 제안한다.
• CoFusion을 영감으로 삼았지만 훨씬 더 작아서 1,000개 미만의 파라미터를 가지는 경량이고 효율적인 특징 융합 메커니즘인 dfuse 모듈을 도입한다.
• 훈련 수렴 속도를 가속화하고 최적화 안정성을 향상시키기 위해 고유의 dloss 함수를 설계한다.
• 전이 학습을 피하고 BIPED 데이터셋에서부터 TEED를 완전히 새로 훈련시켰으며, 각 에포크가 5분 미만으로, 총 훈련 시간이 30분 이내로 줄어들었다.
• 다양한 엣지 검출 및 세그멘테이션 데이터셋에서 주파수 기준으로 이미지를 선별하여, 통합 엣지 검출용 데이터셋(UDED)을 구축하였다. 이는 다양한 실제 이미지와 시각적으로 관련성이 높은 테스트 케이스를 보장한다.
• 표준 지표와 QMUL 데이터셋에서의 후행 작업인 스케치 기반 이미지 검색을 통한 성능 검증을 통해 실제 세계에서의 일반화 능력을 평가한다.

Figure 1: Edges from our proposal (TEED) and the state-of-the-art models. EDTER [ 33 ] and PiDiNet [ 42 ] have been trained in BSDS500 [ 1 ] following the standard training procedure. TEED has been trained from the scratch with BIPED [ 41 ] with a reduced hyper-parameters tuning.

실험 결과

연구 질문

• RQ1 전이 학습이나 초모수 튜닝 없이도 소형 경량 CNN이 엣지 검출에서 최신 기술 수준의 일반화 성능을 달성할 수 있는가?
• RQ2 BIPED와 같이 코호르트된 데이터셋에서 훈련된 모델이 훈련 분포에 포함되지 않은 다양한 새로운 이미지에 대해 어떻게 일반화되는가?
• RQ3 새로운 효율적인 손실 함수와 경량 융합 모듈이 훈련 속도와 엣지 검출 품질에 어떤 영향을 미치는가?
• RQ4 최소한의 모델이 스케치 기반 이미지 검색과 같은 후행 작업에서 더 큰 SOTA 모델들을 능가할 수 있는가?
• RQ5 제안된 UDED 데이터셋은 엣지 검출기의 진정된 일반화 능력을 평가하는 데 얼마나 효과적인가?

주요 결과

• QMUL-ShoeV2 데이터셋에서 TEED는 상위 10개 정확도 0.9565, 상위 1개 정확도 0.5565를 기록하며, 훨씬 더 많은 파라미터를 가진 모델들을 능가했다.
• QMUL-ChairV2 데이터셋에서 TEED는 상위 1개 정확도 0.8865, 상위 10개 정확도 1.0을 기록하여 더 큰 모델들과 동등하거나 이를 초월했다.
• TEED는 6 에포크 미만으로 수렴하며 총 훈련 시간이 30분 미만이었으며, 이는 빠른 수렴과 낮은 훈련 비용을 보여주었다.
• 복잡한 시나리오에서 조밀한 엣지가 존재하는 이미지에서도 PiDiNet 및 EDTER와 같은 SOTA 모델보다 더 날카럽고 깔끔한 엣지 맵을 생성했다.
• TEED는 훈련된 BIPED 이외의 새로운 데이터셋에도 잘 일반화되어, 스케치 기반 이미지 검색에서 뛰어난 성능을 보였다.
• UDED 데이터셋은 시각적 엣지 다양성을 효과적으로 포괄하고 있으며, 일반화 능력 평가에 있어 공정한 평가를 가능하게 하였으며, 표준 벤치마크 성능이 후행 작업 성공을 보장하지는 않는다는 점을 드러냈다.

Figure 2: TEED architecture.