[논문 리뷰] Collaborative Intelligence: Challenges and Opportunities

Ivan V. Bajić, Weisi Lin외 1명|arXiv (Cornell University)|2021. 02. 13.

Ferroelectric and Negative Capacitance Devices참고 문헌 40인용 수 18

한 줄 요약

이 논문은 엣지 디바이스와 클라우드 간의 AI 추론을 분산시키는 프레임워크로 협업 지능(CI)을 소개하며, 딥 뉴럴 네트워크 특징의 압축 전송을 통해 에너지 소비와 지연 시간을 절감한다. 주요 신호 처리 과제로 특징 압축, 오류 내성, 프라이버시, 시스템 설계를 규명하고, 비율-성능 최적화된 코딩, 확장 가능한 특징 압축, 분산 AI 워크로드를 위한 프라이버시 보존 기법과 같은 해결책을 제안한다.

ABSTRACT

This paper presents an overview of the emerging area of collaborative intelligence (CI). Our goal is to raise awareness in the signal processing community of the challenges and opportunities in this area of growing importance, where key developments are expected to come from signal processing and related disciplines. The paper surveys the current state of the art in CI, with special emphasis on signal processing-related challenges in feature compression, error resilience, privacy, and system-level design.

연구 동기 및 목표

• 엣지에서 효율적이고 확장 가능한 AI 구현을 위한 증가하는 수요를 충족시키기 위해 엣지 디바이스와 클라우드 간의 협업 추론을 가능하게 한다.
• 고지연, 고에너지 소비, 대역폭 제약으로 인해 악화되는 전통적인 클라우드 전용 또는 엣지 전용 AI 배포 방식의 한계를 극복한다.
• CI의 핵심 신호 처리 과제인 특징 압축, 오류 내성, 프라이버시, 시스템 수준 최적화를 규명하고 해결한다.
• 딥 뉴럴 네트워크를 분할하고 중간 특징만 전송함으로써 엣지와 클라우드 간의 유연한 로드 밸런싱을 가능하게 한다.
• 기존의 중간 특징 코딩 기술을 발전시켜 영상 코딩 원리를 기계로 읽을 수 있는 특징에 적용함으로써 더 나은 압축 및 성능 트레이드오프를 달성한다.

제안 방법

• 손실 압축을 가능하게 하는 세 모듈(PreQuantization, Repack, VideoEncoder)을 사용한 중간 특징을 위한 공동 코딩 프레임워크를 제안한다.
• 기존 영상 코덱(예: HEVC, VP9, JPEG2000)을 중간 특징의 손실 압축에 적응시켜, 시각적 완성도가 아닌 인식 성능을 최적화한다.
• 왜곡 대신 분석 성능 손실을 사용하는 Rate-Distortion Optimization(RDO)에 유사한 비율-성능-손실 최적화 모델을 도입한다.
• 시간적 부재를 기반으로 I-특징, P-특징, S-특징 세 가지 코딩 모드를 정의하여 영상 기반 중간 특징의 시간적 상관관계를 활용한다.
• 기본 레이어가 중간 특징을 인코딩하고 향상 레이어가 텍스처를 복원함으로써 효율적인 특징 및 콘텐츠 압축을 가능하게 하는 확장 가능한 코딩 프레임워크를 개발한다.
• 기계로 읽을 수 있는 특징의 정밀도를 인간의 시각 품질보다 우선시하는 Video Coding for Machines(VCM) 표준을 통합하여, 후속 AI 작업에서 정확도를 향상시킨다.

Fig. 1 : Basic collaborative intelligence system

실험 결과

연구 질문

• RQ1 중간 딥 특징을 어떻게 효율적으로 압축할 수 있을까? 이는 대역폭 사용을 최소화하면서 추론 정확도를 유지하는 데 목적이 있다.
• RQ2 영상 기반 딥 특징의 시간적 부재를 효과적으로 활용하는 코딩 전략은 무엇일까? 이는 압축 효율을 향상시키는 데 목적이 있다.
• RQ3 특징 전송이 비트 오류나 패킷 손실에 어떻게 내성적으로 작용할 수 있을까? 이는 모델 성능 저하 없이 가능하게 해야 한다.
• RQ4 협업 지능 시스템에 통합할 수 있는 프라이버시 보존 메커니즘은 무엇일까? 이는 특징 전송 중 민감한 데이터를 보호해야 한다.
• RQ5 이종 엣지 및 클라우드 리소스 간의 로드 밸런싱, 지연 시간, 에너지 효율성 최적화를 위한 CI 아키텍처의 시스템 수준 설계는 어떻게 최적화할 수 있을까?

주요 결과

• 고차원성과 높은 계산 비용으로 인해 중간 딥 특징의 무손실 압축은 비현실적이며, 손실 압축 기법이 필수적이다.
• HEVC 및 VP9와 같은 기존 영상 코덱을 딥 특징 압축에 적응시켜 대역폭을 크게 줄일 수 있었으며, 이미지 분류 및 객체 탐지와 같은 작업에서 만족스러운 인식 성능를 유지했다.
• 비율-성능-손실 최적화 모델은 비트레이트와 추론 정확도 사이의 트레이드오프를 가능하게 하며, 낮은 비트레이트에서 성능 저하를 최소화한다.
• 코딩 모드에 기반한 I-, P-, S-특징 정의는 영상 시퀀스의 시간적 부재를 활용하여 압축 효율을 향상시킨다.
• VCM 표준은 기계로 읽을 수 있는 특징의 정밀도를 우선시하여, 전통적인 인간 시각 품질 중심 코딩 대비 후속 AI 작업에서 더 높은 정확도를 달성하는 데 유망한 성과를 보였다.
• 다중 작업 학습 및 파라미터 공유 기법은 모델 크기 감소와 관련 작업 간 상호 중복 제거에 기여하지만, 사전 학습된 모델 의존성으로 인해 적응성 저하와 학습 오버헤드 증가 문제가 있다.

Fig. 2 : Adapted from [ 7 ] . Input images (top row) and reconstructions from 7 ${}^{\text{th}}$ , 11 ${}^{\text{th}}$ , and 17 ${}^{\text{th}}$ layer of YOLOv2 [ 23 ] .