[논문 리뷰] Vis-DSS: An Open-Source toolkit for Visual Data Selection and Summarization

Rishabh Iyer, Pratik Dubal외 4명|arXiv (Cornell University)|2018. 09. 24.

Image Retrieval and Classification Techniques인용 수 4

한 줄 요약

Vis-DSS는 이미지, 영상 및 학습 데이터의 효율적이고 확장 가능한 요약을 가능하게 하는 서브모듈러 함수 최적화를 활용하는 오픈소스 툴킷입니다. GIF 생성, 감시, 이미지 몽타주 생성과 같은 실세계 응용 분야를 지원하는 확장 가능하고 공개된 소프트웨어 툴킷으로, 메모이제이션 기법을 통해 상당한 속도 향상을 이루며 영상 요약, 이미지 컬렉션 요약, 다양한 활성 학습 등 다양한 작업에서 최신 기술 수준의 성능을 달성합니다.

ABSTRACT

With increasing amounts of visual data being created in the form of videos and images, visual data selection and summarization are becoming ever increasing problems. We present Vis-DSS, an open-source toolkit for Visual Data Selection and Summarization. Vis-DSS implements a framework of models for summarization and data subset selection using submodular functions, which are becoming increasingly popular today for these problems. We present several classes of models, capturing notions of diversity, coverage, representation and importance, along with optimization/inference and learning algorithms. Vis-DSS is the first open source toolkit for several Data selection and summarization tasks including Image Collection Summarization, Video Summarization, Training Data selection for Classification and Diversified Active Learning. We demonstrate state-of-the art performance on all these tasks, and also show how we can scale to large problems. Vis-DSS allows easy integration for applications to be built on it, also can serve as a general skeleton that can be extended to several use cases, including video and image sharing platforms for creating GIFs, image montage creation, or as a component to surveillance systems and we demonstrate this by providing a graphical user-interface (GUI) desktop app built over Qt framework. Vis-DSS is available at https://github.com/rishabhk108/vis-dss

연구 동기 및 목표

• 드론, 드래그 캠, 스마트폰과 같은 소스에서 유입되는 막대한 양의 중복 시각 데이터를 관리하는 데 발생하는 증가하는 과제를 해결하기 위해.
• 시각 모델 학습을 위한 효과적인 데이터 서브셋 선택을 통해 기계 학습에서 인간의 레이블링 비용을 줄이기 위해.
• 이미지 컬렉션, 영상, 학습 데이터 선택, 활성 학습 등 다양한 시각 요약 작업을 하나의 서브모듈러 최적화 프레임워크로 통합하기 위해.
• 실세계 응용 분야(예: GIF 생성, 감시, 이미지 몽타주 생성 등)를 지원하는 확장 가능하고 유연하며 오픈소스 소프트웨어 툴킷을 제공하기 위해.
• 실세계 데이터셋을 대상으로 광범위한 벤치마킹을 통해 계산 효율성과 최신 기술 수준의 성능을 입증하기 위해.

제안 방법

• 프레임워크는 데이터 요약에서 다양성, 커버리지, 표현력, 중요도를 모델링하기 위해 서브모듈러 함수를 사용합니다.
• 시각적 특징, 장면 정보, 객체 검출, 얼굴 검출, 색상 데이터를 추출하기 위한 사전 처리 파이프라인을 포함한 모듈러 설계를 채택합니다.
• 메모이제이션 기법을 통해 최적화를 가속화하여, 난이도 높은 오라클 기반 평가 대비 계산 시간을 수 개의 주기로 감소시킵니다.
• 질의 기반, 엔티티 기반(예: 얼굴, 객체), 학습된 분류기 기반의 중요도 기반 요약과 같은 다양한 요약 파라디그마를 지원합니다.
• Qt 프레임워크 기반의 GUI 桌상 응용 프로그램을 통해 사용자 상호작용과 실시간 시각 데이터 요약을 가능하게 합니다.
• 네 가지 핵심 응용 분야를 지원합니다: 이미지 컬렉션 요약, 영상 요약, 학습 데이터 서브셋 선택, 다양한 활성 학습.

실험 결과

연구 질문

• RQ1 서브모듈러 최적화는 영상 요약 및 학습 데이터 선택과 같은 다양한 시각 요약 작업을 효과적으로 통합하기 위해 어떻게 적용될 수 있나요?
• RQ2 다양한 요약 시나리오에서 다양성, 커버리지, 표현력, 중요도 등의 서로 다른 서브모듈러 모델 간의 상대적 성능 트레이드오프는 어떠한가요?
• RQ3 메모이제이션 기법은 두 시간 분량의 영상과 같은 대규모 시각 데이터에 대해 서브모듈러 함수 평가의 확장성을 크게 향상시킬 수 있나요?
• RQ4 엔티티 기반 요약(예: 얼굴, 객체) 및 질의 기반 요약과 같은 실세계 응용에서 프레임워크는 어떤 성능을 보이나요?
• RQ5 이 툴킷은 감시 플랫폼이나 콘텐츠 공유 응용 프로그램과 같은 실질적인 시스템에 얼마나 잘 확장되고 통합될 수 있나요?

주요 결과

• 질의 기반 요약에서 다양성 모델이 다른 모델들을 능가했으며, 특히 과도하게 반복되는 장면을 효과적으로 처리하기 위해 다양한 프레임을 선택할 수 있다는 점에서 유리했습니다.
• 엔티티 요약(예: 얼굴 및 객체)에서 표현력 모델이 가장 뛰어난 정량적 성능을 기록했으며, 잘못된 경고를 효과적으로 건너뛰고 대표적인 인스턴스를 선택하는 데 성공했습니다.
• 메모이제이션 덕분에 두 시간 분량의 영상에 대해 요약 시간을 수백 초에서 1초 이내로 단축시켰으며, 특정 함수에 대해 최대 270배의 성능 향상을 기록했습니다.
• 이 프레임워크는 이미지 컬렉션 요약, 영상 요약, 학습 데이터 서브셋 선택 등 평가된 모든 작업에서 최신 기술 수준의 성능을 달성했습니다.
• Feature-Based 및 Set Coverage와 같은 핵심 기능에서 Gygli 등 [8] 및 SFO [18]과 같은 이전 연구 대비 평균 150배의 속도 향상을 기록했습니다.
• GUI 데스크톱 응용 프로그램은 실시간 요약을 성공적으로 구현하여 툴킷의 사용성과 실사용자 응용 분야에서의 확장 가능성에 대한 타당성을 입증했습니다.