[논문 리뷰] Classic versus deep learning approaches to address computer vision challenges

Nati Ofir, Jean‐Christophe Nebel|arXiv (Cornell University)|2021. 01. 24.

Advanced Image and Video Retrieval Techniques참고 문헌 31인용 수 5

한 줄 요약

이 논문은 희미한 에지 검출과 다스pektral 영상 정렬과 같은 두 가지 도전적인 컴퓨터 비전 과제에 대해 고전적 방법과 딥러닝(DL) 접근법을 비교한다. 딥러닝 모델은 기하학적 변형에 대해 더 높은 정확도와 강건성을 보이며, 그러나 광범위한 훈련 데이터, GPU 가속, 해석 불가능성 등의 요구 조건을 수반한다. 반면 고전적 방법은 더 투명하고 유연하지만 개발 속도는 느리고 정확도는 낮다.

ABSTRACT

Computer vision and image processing address many challenging applications. While the last decade has seen deep neural network architectures revolutionizing those fields, early methods relied on 'classic', i.e., non-learned approaches. In this study, we explore the differences between classic and deep learning (DL) algorithms to gain new insight regarding which is more suitable for a given application. The focus is on two challenging ill-posed problems, namely faint edge detection and multispectral image registration, studying recent state-of-the-art DL and classic solutions. While those DL algorithms outperform classic methods in terms of accuracy and development time, they tend to have higher resource requirements and are unable to perform outside their training space. Moreover, classic algorithms are more transparent, which facilitates their adoption for real-life applications. As both classes of approaches have unique strengths and limitations, the choice of a solution is clearly application dependent.

연구 동기 및 목표

• 희미한 에지 검출과 다스펙트럴 영상 정렬과 같은 두 가지 도전적이고 잘 정의되지 않은 컴퓨터 비전 문제를 해결하는 데 있어 고전적 방법과 딥러닝(DL) 접근법의 강점과 한계를 조사하기 위해.
• 정확도, 속도, 개발 시간, 기하학적 변형에 대한 강건성, 해석 가능성 등의 요소가 고전적 방법과 DL 방법 간에 어떻게 다름을 평가하기 위해.
• 특히 투명성과 신뢰성이 핵심이 되는 민감한 분야에서의 실세계 구현에 이러한 차이들이 미치는 실질적 영향을 평가하기 위해.
• 다른 영상 도메인과 작업 간에 딥러닝 모델과 고전적 알고리즘의 재사용성과 이식 가능성에 대해 검토하기 위해.
• 응용 분야의 특정 제약 조건에 따라 실무자들이 언제 고전적 방법을 선택할 것인지에 대한 실질적인 통찰을 제공하기 위해.

제안 방법

• 희미한 에지 검출에 대해 최신의 딥러닝 및 고전적 알고리즘을 평가하였으며, FED-CNN(DL)과 FastEdges(고전적)를 사용하여 희미하고 굴곡진 에지를 가진 의료 영상과 저조도 영상에서 평가하였다.
• 다스펙트럴 영상 정렬에 대해서는 딥러닝 기반의 불변 기술자표현과 고전적 기능 기반 방법을 비교하였으며, 가시광선 및 적외선 스펙트럼 대역 간 정렬 정확도를 평가하였다.
• 표준 평가 지표인 F1 점수, Dice 계수, 정렬 오차를 사용하여 다양한 영상 조건(노이즈, 기하학적 왜곡 포함)에서 성능을 평가하였다.
• CPU 및 GPU 하드웨어에서 개발 시간과 계산 효율성을 측정하여 실질적인 구현 제약 조건을 평가하였다.
• 모든 방법의 개발 과정에 대한 내부 지식을 활용하여 구현 복잡도와 재사용성의 직접적 비교를 가능하게 하였다.
• 딥러닝 모델은 도메인 특화 데이터셋에서 훈련되었으며, 성능은 도메인 외부 이미지에서 테스트하여 일반화 능력과 강건성을 평가하였다.

실험 결과

연구 질문

• RQ1 딥러닝과 고전적 접근법은 희미한 에지 검출에서 노이즈와 기하학적 변형에 대해 정확도와 강건성 측면에서 어떻게 비교되는가?
• RQ2 이러한 과제에 대해 고전적 방법과 딥러닝 솔루션 간의 개발 시간, 계산 요구 조건, 하드웨어 의존성(CPU 대비 GPU)은 어떻게 다름이 있는가?
• RQ3 딥러닝 모델은 훈련 분포 외의 영상 도메인으로 일반화되는 정도는 어느 정도이며, 고전적 방법과 비교해 볼 때 어떻게 다른가?
• RQ4 고전적 알고리즘의 해석 가능성과 이론적 투명성은 훈련된 딥러닝 모델의 '블랙박스' 성격과 비교해 볼 때 어떻게 다른가?
• RQ5 딥러닝 아키텍처는 다른 비전 과제 간에 얼마나 재사용 가능한가? 고전적 알고리즘의 적응 가능성과 비교해 볼 때 어떻게 다른가?

주요 결과

• 딥러닝 모델은 노이즈가 많거나 복잡한 영상에서 고전적 방법보다 훨씬 높은 정확도를 달성한다. 특히 희미한 에지 검출과 다스펙트럴 정렬 과제에서 그렇다.
• 딥러닝 모델은 기울임, 회전, 확대/축소와 같은 기하학적 변형에 강건한 반면, 고전적 방법은 이러한 변형에서 성능이 떨어지는 경향이 있다.
• 고전적 방법은 더 해석 가능하고 이론적으로 탄탄한 기초를 지녀, 성능의 정량적 한계를 명확히 제시할 수 있다. 반면 딥러닝 모델은 내부 메커니즘이 투명하지 않아 성능을 이해하기 어렵다.
• 딥러닝 솔루션은 실용적인 추론 속도 확보를 위해 GPU 가속이 필수이며, 반면 고전적 방법은 CPU에서 효율적으로 작동하여 자원이 제한된 환경에서의 구현 가능성을 높인다.
• 훈련 데이터가 확보되어 있으면 딥러닝 모델의 개발 시간은 상당히 짧아지며, 기존의 CNN 아키텍처를 빠르게 미세조정하고 새로운 과제에 재사용할 수 있다.
• 딥러닝 모델은 훈련 분포 외의 이미지에 적용되었을 때 치명적인 실패를 겪는 반면, 고전적 방법은 더 예측 가능한 방식으로 성능 저하가 발생한다.