[논문 리뷰] Efficient High-Resolution Deep Learning: A Survey

Arian Bakhtiarnia, Qi Zhang외 1명|arXiv (Cornell University)|2022. 07. 26.

Advanced Image Processing Techniques인용 수 7

한 줄 요약

이 종합적 서베이는 고해상도 딥러닝 기법에 대해 효율적인 접근 방식을 종합적으로 개괄하며, 대규모 시각 작업에서 정확도를 유지하면서 계산 비용과 메모리 사용량을 줄이는 데 초점을 맞춘다. 지역 공간 네트워크, 토큰 기반 방법, 주파수 도메인 네트워크 등의 접근 방식을 분류하여 설계 원칙과 의료 영상, 원격 감지, 감시 분야에서의 응용을 강조하고, 고해상도 데이터셋의 정제된 목록을 제공한다.

ABSTRACT

Cameras in modern devices such as smartphones, satellites and medical equipment are capable of capturing very high resolution images and videos. Such high-resolution data often need to be processed by deep learning models for cancer detection, automated road navigation, weather prediction, surveillance, optimizing agricultural processes and many other applications. Using high-resolution images and videos as direct inputs for deep learning models creates many challenges due to their high number of parameters, computation cost, inference latency and GPU memory consumption. Simple approaches such as resizing the images to a lower resolution are common in the literature, however, they typically significantly decrease accuracy. Several works in the literature propose better alternatives in order to deal with the challenges of high-resolution data and improve accuracy and speed while complying with hardware limitations and time restrictions. This survey describes such efficient high-resolution deep learning methods, summarizes real-world applications of high-resolution deep learning, and provides comprehensive information about available high-resolution datasets.

연구 동기 및 목표

• 고해상도 영상 및 영상 처리의 증가하는 도전 과제에 대응하기 위해 딥러닝에서 높은 계산 비용, 메모리 소비, 추론 지연을 해결하고자 한다.
• 특히 자원이 제한된 환경에서 고해상도 입력에 적합한 효율적인 딥러닝 기법을 식별하고 분류하고자 한다.
• 지역 공간 네트워크, 비전 트랜스포머, 주파수 도메인 접근 방식을 포함한 최신 기법들을 요약하고자 한다.
• 히스토파스ولوج, 원격 감지, 군중 수세기 등 다양한 분야에서의 기존 고해상도 데이터셋을 수집하고 검토하고자 한다.
• 모델 압축, 엣지 컴퓨팅, 다중 모odal 학습과의 통합을 포함한 열린 연구 방향을 부각하고자 한다.

제안 방법

• 효율적인 고해상도 딥러닝 기법을 네 가지 주요 유형으로 분류한다: 지역 공간 네트워크(LSNs), 토큰 기반 방법(TOIC), 주파수 도메인 네트워크, 하이브리드 아키텍처.
• LSNs가 작은 겹치는 패치로 이미지를 처리하여 계산과 메모리 사용량을 줄이는 방식을 분석하며, 특히 기가피셀 이미지에 적합하다.
• TOIC 방법은 작업에 특화된 압축된 표현(예: 그래프 기반 또는 어텐션 기반)을 사용하여 입력 크기를 줄이지만, 작업에 관련된 특징은 유지한다.
• 주파수 도메인 접근 방식은 이미지를 스펙트럼 표현(예: DCT)으로 변환하여 CNN이나 ViT와 함께 효율적인 처리를 가능하게 한다.
• 깊이 분리형 컨볼루션, 다중 스케일 특징 추출, 어텐션 메커니즘 재구성 등의 아키텍처 최적화 기법을 논의하여 비전 트랜스포머의 제곱형 복잡도를 줄인다.
• 엣지 컴퓨팅 및 분할 추론과의 통합을 제안하며, 장치에 경량 모델을 구현하고 압축된 특징을 서버로 전송하여 최종 예측을 수행한다.

실험 결과

연구 질문

• RQ1 정확도를 희생시키지 않고 고해상도 입력에 대해 딥러닝 모델을 효율적으로 만들 수 있는 방법은 무엇인가?
• RQ2 다양한 시각 작업에서 기가피셀 이미지를 처리할 때 발생하는 주요 아키텍처적 및 계산적 트레이드오프는 무엇인가?
• RQ3 밀도 있는 예측 작업에서 지역 공간 네트워크와 토큰 기반 방법 간의 효율성과 정확도는 어떻게 비교되는가?
• RQ4 주파수 도메인 표현이 고해상도 데이터의 효율적 처리를 가능하게 하는 데 어떤 역할을 하는가?
• RQ5 효율적인 고해상도 딥러닝을 엣지 컴퓨팅과 모델 압축과 통합하여 실세계에서의 구현을 어떻게 가능하게 할 수 있는가?

주요 결과

• 고해상도 입력은 특히 자기주의 어텐션 메커니즘이 있는 비전 트랜스포머에서 FLOPs와 메모리 사용량이 제곱형으로 증가시킨다.
• 지역 공간 네트워크(LSNs)는 작은 겹치는 패치로 처리하여 계산을 줄이며, 웨일 슬라이드 이미징 및 원격 감지와 같은 응용 분야에 적합하다.
• 토큰 기반 방법(TOIC)인 Slide Graph와 MCAT는 도메인 지식을 활용해 작업에 특화된 압축된 표현을 학습함으로써 높은 효율성을 달성한다.
• 주파수 도메인 네트워크인 CS-Fnet는 CNN과 ViT를 스펙트럼 표현에 적응시켜 계산과 메모리 사용량을 줄일 수 있는 잠재력을 보인다.
• 선형화된 어텐션 메커니즘과 깊이 분리형 컨볼루션을 통해 비전 트랜스포머는 고해상도 데이터의 스케일러블 처리가 가능해진다.
• 효율적인 고해상도 기법을 엣지 컴퓨팅과 분할 추론과 결합하면 드론이나 스마트폰과 같은 자원이 제한된 장치에서 실용적인 구현이 가능해진다.