[논문 리뷰] A survey on Kornia: an Open Source Differentiable Computer Vision Library for PyTorch

Edgar Riba, Dmytro Mishkin외 4명|arXiv (Cornell University)|2020. 09. 21.

Advanced Neural Network Applications참고 문헌 62인용 수 9

한 줄 요약

이 논문은 PyTorch 기반으로 구축된 오픈소스의 미분 가능 컴퓨터 비전 라이브러리인 Kornia를 소개한다. 이 라이브러리는 GPU 가속, 배치 처리, 그리고 미분 가능성을 지원하는 전통적인 비전 알고리즘의 구현을 가능하게 한다. 이미지 필터링, 특징 검출, 기하학적 변환과 같은 전통적인 컴퓨터 비전 연산을 미분 가능한 신경망 레이어로 통합함으로써 Kornia는 역전파를 통한 엔드 투 엔드 학습을 가능하게 하여, 특징 매칭에 대한 적대적 공격과 같은 새로운 응용을 가능하게 한다.

ABSTRACT

This work presents Kornia, an open source computer vision library built upon a set of differentiable routines and modules that aims to solve generic computer vision problems. The package uses PyTorch as its main backend, not only for efficiency but also to take advantage of the reverse auto-differentiation engine to define and compute the gradient of complex functions. Inspired by OpenCV, Kornia is composed of a set of modules containing operators that can be integrated into neural networks to train models to perform a wide range of operations including image transformations,camera calibration, epipolar geometry, and low level image processing techniques, such as filtering and edge detection that operate directly on high dimensional tensor representations on graphical processing units, generating faster systems. Examples of classical vision problems implemented using our framework are provided including a benchmark comparing to existing vision libraries.

연구 동기 및 목표

• 딥러닝 프레임워크에서 전통적인 컴퓨터 비전 알고리즘에 대한 미분 가능하고 GPU 가속된 구현이 부족한 문제를 해결한다.
• 신경망 내에서 미분 가능한 비전 연산자를 통해 전통적인 컴퓨터 비전과 딥러닝 간 격차를 메운다.
• 연구 및 산업 응용을 위한 배치 처리, 미분 가능, GPU 최적화된 비전 연산을 지원하는 프로덕션 수준의 확장성 있는 라이브러리를 제공한다.
• 미분 가능한 이미지 처리 레이어 및 전통적인 비전 파rameter의 최적화를 위한 기반을 제공함으로써 새로운 연구 방향을 가능하게 한다.
• 성능 향상과 해석 가능성 향상을 위해 전통적인 비전 모듈을 딥러닝 파이프라인에 통합할 수 있도록 한다.

제안 방법

• GPU 가속과 미분 가능성을 보장하기 위해, 네이티브 PyTorch 텐서 연산을 사용하여 컴퓨터 비전 연산자(예: 필터링, 에지 검출, 이미지 왜곡)를 구현한다.
• 자동 미분과 호환되는 모듈식 구성 요소를 설계하여 기하학(예: 동차좌표, 기본행렬), 특징 검출(예: 헤시안 블롭), 기술자(예: SIFT)를 지원한다.
• PyTorch의 분산 및 데이터 병렬 기능을 활용하여 여러 GPU를 통해 이미지 텐서의 배치 처리를 가능하게 한다.
• PyTorch의 역방향 자동 미분을 활용하여 복잡한 비전 파이프라인을 통해 기울기를 계산하고, 엔드 투 엔드 학습을 가능하게 한다.
• 신경망에 삽입 가능하고 역전파를 통해 최적화 가능한 미분 가능한 레이어를 통해 기존 딥러닝 워크플로우와 통합한다.
• 특정 동차좌표에 대해 일치하는 매칭 결과를 유도하도록 이미지 노이즈를 최적화하는 방식으로, 동차좌표 기반 특징 매칭에 대한 적대적 공격을 통해 프레임워크의 유용성을 입증한다. 이때 손실 함수는 위치, 기술자, 정규화 항을 조합한 미분 가능한 손실을 사용한다.

실험 결과

연구 질문

• RQ1 전통적인 컴퓨터 비전 연산이 딥러닝 프레임워크 내에서 GPU에서 효율적으로 실행되면서도 완전히 미분 가능하게 만들 수 있는가?
• RQ2 미분 가능한 비전 연산자가 전통적인 비전 구성 요소에 의존하는 딥러닝 네트워크의 학습에 어떻게 기여하는가?
• RQ3 Kornia와 같은 미분 가능한 비전 라이브러리가 특징 매칭에 대한 적대적 공격과 같은 새로운 응용을 얼마나 잘 가능하게 하는가?
• RQ4 Kornia의 성능와 기능 세트는 OpenCV, torchvision, tf.image와 같은 기존 라이브러리와 비교해 볼 때, 미분 가능성과 GPU 지원 측면에서 어떻게 다른가?
• RQ5 미분 가능한 비전 레이어가 기존 비전 파이프라인의 수동 하이퍼파라미터 튜닝을 줄일 수 있는가?

주요 결과

• 조사한 라이브러리 중에서 Kornia는 유일하게 전통적인 비전 작업에 대해 완전히 배치 처리, 미분 가능, GPU 가속을 지원하는 오픈소스 라이브러리이다.
• 이 라이브러리는 필터링, 왜곡, 특징 추출과 같은 연산을 통해 기울기가 흐르는 엔드 투 엔드 미분 가능한 이미지 처리를 가능하게 한다.
• Kornia는 지역 특징 매칭에 대한 미분 가능한 적대적 공격을 성공적으로 구현하여, 목표 동차좌표에 일치하는 결과를 유도하도록 노이즈를 최적화하는 데 기여한다.
• 이 프레임워크는 이미지 정렬, 깊이 추정, 특징 매칭 등 다양한 비전 작업을 지원하며, 기존 GPU 최적화 라이브러리와 비교해 유사한 성능을 보인다.
• Kornia는 50개 이상의 프로젝트에서 채택되었으며, GitHub 스타 수 2450개, 포크 수 250개를 기록하여 강력한 커뮤니티 수용과 활발한 개발을 보여준다.
• 딥러닝 파이프라인에 미분 가능한 비전 연산자를 통합함으로써 전통적인 비전 파rameter의 공동 최적화가 가능해져 수동 튜닝에 대한 의존도를 감소시킨다.