[논문 리뷰] PRISM: A Unified Framework of Parameterized Submodular Information Measures for Targeted Data Subset Selection and Summarization

Vishal Kaushal, Suraj Kothawade외 3명|arXiv (Cornell University)|2021. 02. 27.

Advanced Image and Video Retrieval Techniques참고 문헌 49인용 수 6

한 줄 요약

PRISM는 레이블링 비용 제약 조건 하에서 모델 성능을 유지하거나 향상시키는 타깃 데이터 서브셋 선택 및 요약을 위한 파rameterized submodular 정보 측정 방법의 통합 프레임워크를 제안한다. 이는 레이블링 비용 제약 조건 하에서 모델 성능을 향상시키는 데 기여하는 PRISM-TSS와 데이터 컬렉션의 효율적이고 의도 기반 요약을 가능하게 하는 PRISM-TSUM을 제공하며, 이미지 분류 및 이미지 컬렉션 요약 작업에서 기존 방법들을 일반화하고 이를 초월한다.

ABSTRACT

With increasing data, techniques for finding smaller, yet effective subsets with specific characteristics become important. Motivated by this, we present PRISM, a rich class of Parameterized Submodular Information Measures, that can be used in applications where such targeted subsets are desired. We demonstrate the utility of PRISM in two such applications. First, we apply PRISM to improve a supervised model's performance at a given additional labeling cost by targeted subset selection (PRISM-TSS) where a subset of unlabeled points matching a target set are added to the training set. We show that PRISM-TSS generalizes and is connected to several existing approaches to targeted data subset selection. Second, we apply PRISM to a more nuanced targeted summarization (PRISM-TSUM) where data (e.g., image collections, text or videos) is summarized for quicker human consumption with additional user intent. PRISM-TSUM handles multiple flavors of targeted summarization such as query-focused, topic-irrelevant, privacy-preserving and update summarization in a unified way. We show that PRISM-TSUM also generalizes and unifies several existing past work on targeted summarization. Through extensive experiments on image classification and image-collection summarization we empirically verify the superiority of PRISM-TSS and PRISM-TSUM over the state-of-the-art.

연구 동기 및 목표

• 레이블링 비용 제약 조건 하에서 모델 성능을 유지하거나 향상시키는 효율적이고 타깃 중심의 데이터 서브셋 선택의 증가하는 필요성을 해결하기 위해.
• 쿼리 중심, 프라이버시 보존, 업데이트 인식 요약과 같은 다양한 형태의 타깃 중심 요약을 하나의 원칙적인 프레임워크로 통합하기 위해.
• 탄력적이고 파rameterized submodular 형식을 사용하여 기존의 타깃 중심 데이터 서브셋 선택 및 요약 접근법을 일반화하고 확장하기 위해.
• 감독 학습 및 인간 중심의 데이터 요약 응용 분야에서 최신 기술 수준의 방법들에 비해 프레임워크의 우수성을 실증적으로 검증하기 위해.

제안 방법

• 사용자가 정의한 타깃 특성 기반으로 데이터 서브셋의 유용성을 모델링하는 파arameterized submodular 정보 측정의 가족(즉, PRISM)을 제안한다.
• 타깃 분포 또는 의도에 비해 정보량을 최대화하는 데이터 서브셋을 선택하기 위해 submodular 최적화를 적용한다.
• 레이블링을 위해 타깃 집합과 일치하는 미레이블링된 점들을 선택하여 모델 성능을 향상시키는 타깃 서브셋 선택을 위한 PRISM-TSS를 도입한다.
• 사용자 의도에 기반해 다양한 데이터 컬렉션(예: 이미지, 비디오, 텍스트)의 유연한 요약을 가능하게 하는 타깃 중심 요약을 위한 PRISM-TSUM을 개발한다.
• 파arameterized 유용성 함수를 통합하여 기존의 데이터 선택 및 요약을 위한 submodular 측정을 일반화하는 통합 목표 함수를 사용한다.
• 이론적 보장을 갖춘 근사 최적화를 적용하여 대규모 데이터셋에 대해서도 스케일업하면서 성능을 유지한다.

실험 결과

연구 질문

• RQ1 통합된 submodular 측정 프레임워크가 추가적인 레이블링 비용이 발생하는 조건 하에서 타깃 중심의 데이터 서브셋 선택을 향상시킬 수 있는가?
• RQ2 PRISM은 기존의 타깃 중심 데이터 선택 및 요약 접근법을 어떻게 일반화하거나 통합하는가?
• RQ3 감독 학습 환경에서 PRISM-TSS는 최신 기술 수준의 방법들에 비해 모델 성능을 얼마나 향상시키는가?
• RQ4 PRISM-TSUM은 쿼리 중심, 프라이버시 보존, 업데이트 인식 요약과 같은 다양한 요약 작업을 효과적으로 처리할 수 있는가?
• RQ5 PRISM의 실세계 데이터 선택 및 요약 벤치마크에서의 실증 성능은 어떠한가?

주요 결과

• PRISM-TSS는 기존의 타깃 중심 데이터 서브셋 선택을 위한 여러 접근법을 일반화하고 통합하여 더 유연하고 원칙적인 프레임워크를 제공한다.
• PRISM-TSUM는 쿼리 중심, 주제 무관, 프라이버시 보존, 업데이트 요약과 같은 다양한 형태의 타깃 중심 요약을 하나의 형식론 아래 통합한다.
• 이미지 분류 작업에서, 동일한 레이블링 비용 조건 하에서 PRISM-TSS는 최신 기술 수준의 방법들보다 뛰어난 모델 성능을 달성한다.
• 이미지 컬렉션 요약 작업에서, PRISM-TSUM는 요약 품질과 사용자 의도 일치도 측면에서 기존 방법들을 능가한다.
• 광범위한 실험을 통해 PRISM-TSS 및 PRISM-TSUM가 다양한 벤치마크와 평가 지표에서 기존 작업들을 일관되게 능가함을 확인했다.
• 이 프레임워크는 강력한 확장성과 강인성을 보이며, 대규모 데이터셋에서도 높은 성능을 유지한다.