[논문 리뷰] AI Oriented Large-Scale Video Management for Smart City: Technologies, Standards and Beyond

Ling‐Yu Duan, Yihang Lou외 3명|arXiv (Cornell University)|2017. 12. 05.

Video Surveillance and Tracking Methods참고 문헌 23인용 수 5

한 줄 요약

이 논문은 스마트 시티의 AI 기반 대규모 비디오 관리에서 딥 페처 코딩을 위한 표준화 프레임워크를 제안하며, 특정 딥 러닝 모델이 아닌 상호운용성 있는 비트스트림 구문에 중점을 둔다. 표준화된 압축 및 전송을 통해 모델에 종속되지 않는 컴act한 딥 페처를 통합함으로써, 다양한 AI 시스템 간의 확장성 있고 효율적인 비디오 분석을 가능하게 하며, 진화하는 딥 러닝 아키텍처에 대한 유연성을 유지한다. 이는 장기적인 표준화의 지속성과 도시 전역 AI 인fra구조에의 통합을 위한 비전을 담고 있다.

ABSTRACT

Deep learning has achieved substantial success in a series of tasks in computer vision. Intelligent video analysis, which can be broadly applied to video surveillance in various smart city applications, can also be driven by such powerful deep learning engines. To practically facilitate deep neural network models in the large-scale video analysis, there are still unprecedented challenges for the large-scale video data management. Deep feature coding, instead of video coding, provides a practical solution for handling the large-scale video surveillance data. To enable interoperability in the context of deep feature coding, standardization is urgent and important. However, due to the explosion of deep learning algorithms and the particularity of feature coding, there are numerous remaining problems in the standardization process. This paper envisions the future deep feature coding standard for the AI oriented large-scale video management, and discusses existing techniques, standards and possible solutions for these open problems.

연구 동기 및 목표

• 스마트 시티의 대규모 감시 비디오 데이터를 AI 기반 페처 코딩을 통해 관리하는 데 도전 과제를 해결한다.
• 표준화된 페처 비트스트림을 통해 다양한 딥 러닝 모델 간의 상호운용성을 보장한다.
• 특정 모델에 종속되지 않고 장기적인 적응성을 확보하기 위해 페처 추출과 압축 구문을 분리하는 실용적이고 전망적인 표준화 전략을 제안한다.
• 표준화의 필요성과 빠르게 변화하는 딥 러닝 모델 및 알고리즘 간의 균형을 유지한다.
• 도시 브레인 등의 도시 전역 AI 시스템 개발을 지원하기 위해 효율적이고 통합된 비디오 데이터 처리를 가능하게 한다.

제안 방법

• 특정 딥 러닝 모델이 아닌, 압축된 딥 페처 비트스트림의 구문에 중점을 둔 부분 상호운용성 표준을 제안한다.
• 비디오 코딩과 유사한 '디코딩 전용' 표준 모델을 채택하여, 어떤 적합한 디코더도 표준 비트스트림에서 페처를 재구성할 수 있도록 한다.
• 페처의 중복을 줄이기 위해 기존의 비디오 코딩 기법(예: 내부/외부 예측, 비용-편미도 최적화, 비국소 예측)을 활용한다.
• 프레임 수준의 페처 압축을 객체 수준으로 확장하기 위해 객체 제안 및 검출기(예: YOLO)를 통합하여 국소화되고 효율적인 페처 추출을 가능하게 한다.
• 최종 비트스트림 구문을 표준화하여 균일한 전송 및 디코딩을 가능하게 하되, 원시 페처 추출은 향후 혁신을 위해 개방한다.
• 실제 구현 환경에서 다양한 대역폭 조건에 대응하기 위해 다수의 운영 포인트(예: 512B에서 16KB)를 지원하는 확장 가능한 프레임워크를 설계한다.

실험 결과

연구 질문

• RQ1 다양한 딥 러닝 모델에서 생성된 딥 페처 비트스트림을 대규모 스마트 시티 비디오 시스템에서 어떻게 상호운용 가능하게 할 수 있는가?
• RQ2 딥 러닝 모델의 빠른 진화와 장기적인 지속 가능성을 균형 있게 유지할 수 있는 표준화 전략은 무엇인가?
• RQ3 비디오 코딩 기법을 얼마나 효율적으로 응용하여 딥 페처의 압축과 중복 제거를 가능하게 할 수 있는가?
• RQ4 객체 수준의 페처 추출 및 압축은 비디오 감시에서 효율성과 확장성 향상에 어떻게 기여하는가?
• RQ5 표준화된 비트스트림 구문이 통합된 도시 규모 AI 비디오 관리 시스템을 어떻게 가능하게 하는가?

주요 결과

• 제안된 표준화 전략은 압축된 딥 페처의 비트스트림 구문에 중점을 두어, 특정 딥 러닝 모델을 의무화하지 않으면서도 상호운용성을 보장한다.
• 페처 추출과 압축 표준화를 분리함으로써, 새로운 및 진화하는 딥 러닝 아키텍처에 장기적으로 적응할 수 있도록 프레임워크를 보장한다.
• 비디오 코딩 기반 기법(예: 상호 예측, 비용-편미도 최적화)의 활용은 딥 페처 스트림의 중복을 효과적으로 줄일 수 있다.
• YOLO와 같은 검출기를 통해 가능해지는 객체 수준의 페처 압축은 더 효율적이고 맥락 인식 가능한 페처 표현 및 전송을 가능하게 한다.
• 프레임워크는 512B에서 16KB까지의 다수의 운영 포인트를 지원하여 실제 구현 환경에서 다양한 네트워크 조건에 대응할 수 있도록 한다.
• 이러한 접근은 다양한 모델의 페처 비트스트림을 처리할 수 있는 통합 디코더를 가능하게 하여, 도시 규모 AI 시스템에서의 호환성과 확장성을 확보한다.