[논문 리뷰] ProtoDash: Fast Interpretable Prototype Selection

Karthik S. Gurumoorthy, Amit Dhurandhar외 1명|arXiv (Cornell University)|2017. 07. 05.

Machine Learning and Data Classification인용 수 14

한 줄 요약

ProtoDash는 대칭 정부호 정의 행렬 커널을 사용하는 약한 하위모듈러 프레임워크를 통해 복잡한 데이터셋에서 가중치가 부여된 프로토타입을 빠르고 해석 가능한 방식으로 선택하는 알고리즘을 제안한다. 이는 이전 연구를 일반화하여 어떤 대칭 정부호 정의 행렬 커널에서도 프로토타입과 비판(낮은 가중치를 가진 프로토타입) 선택을 동시에 가능하게 한다. 이 알고리즘은 이론적 근사 보장을 제공하며 스케일이 가능하고 일관된 대표 예시 선택을 실현하며 소매, MNIST, 공중보건 데이터셋 전반에서 뛰어난 성능을 보인다.

ABSTRACT

In this paper we propose an efficient algorithm ProtoDash for selecting prototypical examples from complex datasets. Our work builds on top of the learn to criticize (L2C) work by Kim et al. (2016) and generalizes it to not only select prototypes for a given sparsity level $m$ but also to associate non-negative weights with each of them indicative of the importance of each prototype. Unlike in the case of L2C, this extension provides a single coherent framework under which both prototypes and criticisms (i.e. lowest weighted prototypes) can be found. Furthermore, our framework works for any symmetric positive definite kernel thus addressing one of the open questions laid out in Kim et al. (2016). Our additional requirement of learning non-negative weights introduces technical challenges as the objective is no longer submodular as in the previous work. However, we show that the problem is weakly submodular and derive approximation guarantees for our fast ProtoDash algorithm. Moreover, ProtoDash can not only find prototypical examples for a dataset $X$, but it can also find (weighted) prototypical examples from $X^{(2)}$ that best represent another dataset $X^{(1)}$, where $X^{(1)}$ and $X^{(2)}$ belong to the same feature space. We demonstrate the efficacy of our method on diverse domains namely; retail, digit recognition (MNIST) and on the latest publicly available 40 health questionnaires obtained from the Center for Disease Control (CDC) website maintained by the US Dept. of Health. We validate the results quantitatively as well as qualitatively based on expert feedback and recently published scientific studies on public health.

연구 동기 및 목표

• 기존 프로토타입 선택 방법의 한계를 해결하기 위해 통합된 프레임워크에서 프로토타입과 비판(낮은 가중치를 가진 프로토타입) 선택을 동시에 가능하게 하는 것.
• 기존 연구에서 남아있는 핵심 열린 질문인, Learn to Criticize(L2C) 프레임워크를 특정 커널 유형에 국한되지 않고 어떤 대칭 정부호 정의 행렬 커널에서도 작동하도록 일반화하는 것.
• 프로토타입의 중요도를 반영하기 위해 비음수 가중치를 도입하여 해석 가능성과 대표성 향상시키는 것.
• 비하위모듈러 성격을 띠는 가중치가 부여된 목표 함수임에도 불구하고 이론적 근사 보장을 제공하는 것.
• 동일한 특징 공간 내에서 한 데이터셋의 프로토타입이 다른 데이터셋을 최적으로 대표할 수 있도록 하는 교차 데이터셋 프로토타입 선택을 가능하게 하는 것.

제안 방법

• L2C 프레임워크를 확장하여 프로토타입에 비음수 가중치를 도입함으로써 선택 문제를 약한 하위모듈러 최적화 과제로 변환하는 것.
• 프로토타입의 대표성과 가중치 기반 중요도를 균형 잡는 새로운 목표 함수를 사용한 그레디언트 전진 선택 알고리즘을 적용하는 것.
• 임의의 대칭 정부호 정의 행렬 커널을 기반으로 한 커널 기반 유사도 측정을 사용하여 데이터 포인트 간 유사도를 계산하는 것.
• 약한 하위모듈러성 하에 그레디언트 선택 과정에 대한 이론적 근사 경계를 유도하여 근사 최적 성능를 보장하는 것.
• 동일한 특징 공간 내에서 도메인 내 프로토타입 선택(X에서 선택)과 교차 데이터셋 프로토타입 선택(X²가 X¹을 대표)을 동시에 지원하는 것.
• 효율적인 커널 계산과 프로토타입 집합의 반복적 정밀 조정을 활용하여 빠르고 확장 가능한 알고리즘을 구현하는 것.

실험 결과

연구 질문

• RQ1 프로토타입과 비판(낮은 가중치를 가진 프로토타입)을 동시에 선택할 수 있는 통합 프레임워크를 개발할 수 있는가? 이때 비음수 가중치를 부여하여 해석 가능하고 명확한 표현이 가능한가?
• RQ2 특정 커널 유형에 국한되지 않고 어떤 대칭 정부호 정의 행렬 커널에서도 작동할 수 있도록 프로토타입 선택을 일반화할 수 있는가?
• RQ3 비음수 가중치로 인해 더 이상 하위모듈러가 아닌 목표 함수일 경우, 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 ProtoDash는 동일한 특징 공간 내에서 한 데이터셋의 대표 예시를 다른 데이터셋이 최적으로 대표할 수 있도록 효과적으로 선택할 수 있는가?
• RQ5 ProtoDash는 소매, 숫자 인식, 공중보건과 같은 다양한 분야의 실세계 응용에서 어떤 성능을 보이는가?

주요 결과

• ProtoDash는 L2C 프레임워크를 비음수 가중치를 부여한 프로토타입과 함께 비판 선택까지 지원하도록 성공적으로 일반화하여 더 일관되고 해석 가능한 표현을 가능하게 하였다.
• 비하위모듈러 목표 함수임에도 불구하고 문제의 약한 하위모듈러 성격을 증명함으로써 이론적 근사 보장을 확보하였다.
• MNIST에서 ProtoDash는 최소한의 계산 비용으로 높은 품질의 프로토타입 선택을 실현하였고 일관된 해석 가능성도 유지하였다.
• 공중보건 분야에서는 CDC 데이터에서 전문가가 검증한 공중보건 연구와 일치하는 대표적인 건강 설문지를 효과적으로 식별하였다.
• 전문가 피드백을 통해 선택된 프로토타입이 핵심 건강 상태와 행동을 의미적으로 잘 반영하고 있음을 확인하였다.
• 알고리즘은 대규모 데이터셋에 대해 효율적으로 확장 가능하여 고차원 특징 공간에서도 빠른 프로토타입 선택을 가능하게 하였다.