[논문 리뷰] Minimizing Impurity Partition Under Constraints

Thuan Nguyen, Thinh Nguyen|arXiv (Cornell University)|2019. 12. 31.

Error Correcting Code Techniques참고 문헌 13인용 수 9

한 줄 요약

이 논문은 임의의 볼록 외 함수 제약 조건 하에서 집합 분할의 불순도를 최소화하기 위한 새로운 알고리즘을 제안한다. 이는 후행 확률 공간에서 초평면 컷에 해당하는 전역 최적 분할이 존재한다는 새로운 최적성 조건을 활용하여 이를 입증한다. 이 방법은 빈도 가중 볼록 외 불순도 함수에 대해 전역 최적 해를 다항 시간 내에 계산할 수 있게 하며, 결정적 정보 버블링을 일반화하고 이전의 근사 방법들을 능가한다.

ABSTRACT

Set partitioning is a key component of many algorithms in machine learning, signal processing, and communications. In general, the problem of finding a partition that minimizes a given impurity (loss function) is NP-hard. As such, there exists a wealth of literature on approximate algorithms and theoretical analyses of the partitioning problem under different settings. In this paper, we formulate and solve a variant of the partition problem called the minimum impurity partition under constraint (MIPUC). MIPUC finds an optimal partition that minimizes a given loss function under a given concave constraint. MIPUC generalizes the recently proposed deterministic information bottleneck problem which finds an optimal partition that maximizes the mutual information between the input and partition output while minimizing the partition output entropy. Our proposed algorithm is developed based on a novel optimality condition, which allows us to find a locally optimal solution efficiently. Moreover, we show that the optimal partition produces a hard partition that is equivalent to the cuts by hyperplanes in the probability space of the posterior probability that finally yields a polynomial time complexity algorithm to find the globally optimal partition. Both theoretical and numerical results are provided to validate the proposed algorithm.

연구 동기 및 목표

• 기계 학습 및 신호 처리 응용 분야에서 특히 NP-난이도 문제인 제약 조건 하의 최적 집합 분할 문제를 해결하기 위해.
• 출력 분포에 대한 임의의 볼록 외 제약 조건을 통합함으로써 결정적 정보 버블링을 일반화하기 위해.
• 히우리스틱 근사치에 의존하지 않고 전역 최적 분할을 찾는 증명 가능한 효율적인 알고리즘을 개발하기 위해.
• 최적 분할과 후행 확률 공간에서의 초평면 분리 간의 이론적 기반을 구축하기 위해.

제안 방법

• 빈도 가중 볼록 외 불순도 함수를 최소화하는 제약 조건 하의 최소 불순도 분할 문제(MIPUC)를 설정하며, 이는 출력 분포에 대한 볼록 외 제약 조건을 수반한다.
• 라그랑주 이중성과 부분미분 분석을 활용하여 국소 최적 해를 특성화하는 새로운 최적성 조건을 유도한다.
• 최적 분할이 입력에 대한 출력의 후행 확률 공간에서 초평면에 의해 분리된 영역과 등가인 하드 분할임을 증명한다.
• 후행 확률 공간 내의 초평면 임계값을 효율적으로 탐색하는 알고리즘을 개발하여 다항 시간 복잡도를 달성한다.
• 모든 가능한 제약 수준에서 전역 최적 해를 식별하기 위해 이중 변수(예: β)의 이산화된 범위를 전수 조사한다.
• 해결 공간의 기하학적 구조를 활용하여 N=2일 경우 스칼라 임계값에 대한 일차원 스캔으로 탐색을 단순화함으로써 정확한 전역 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 히우리스틱 근사치에 의존하지 않고, 임의의 볼록 외 제약 조건 하에서 불순도 최소화 문제의 전역 최적 해를 찾을 수 있는가?
• RQ2 빈도 가중 볼록 외 불순도 함수에 대해 최적 분할이 후행 확률 공간에서의 초평면 컷과 대응되는가?
• RQ3 이러한 제약 조건 하에서 전역 최적 분할을 찾는 데 다항 시간 복잡도를 달성할 수 있는가?
• RQ4 제약 조건과 손실 함수 측면에서 제안된 방법이 결정적 정보 버블링 프레임워크를 얼마나 일반화하는가?
• RQ5 제약 조건이 있는 양자화에서 이중 변수 β와 상호정보량 및 출력 엔트로피 간의 트레이드오프 간의 관계는 무엇인가?

주요 결과

• 볼록 외 제약 조건 하의 전역 최적 분할은 후행 확률 공간에서의 초평면 컷에 의해 정의되는 하드 분할과 등가이며, 정확한 계산이 가능하다.
• N=2인 경우, 이산화된 임계값 범위에 대한 일차원 검색을 통해 최적 해를 찾을 수 있으며, 이로 인해 다항 시간 복잡도를 달성한다.
• 제약 조건 H(Z) ≤ 0.5 하에서 상호정보량의 최대값 I(X;Z)* = 0.18623를 달성하며, 이 때 H(Z) = 0.48873, β* = 6이다.
• 제안된 방법은 엔트로피에 국한되지 않고 임의의 볼록 외 제약 조건을 허용함으로써 결정적 정보 버블링을 일반화한다.
• 이론적 분석을 통해 최적 해가 전역적으로 최적이며 다항 시간 내에 계산 가능하다는 것이 확인되었으며, 표준 분할 방법은 NP-난이도임에 비해 유의미하게 뛰어나다.
• 이진 입력 통신 채널을 이용한 수치적 검증을 통해, 이 방법이 진정한 전역 최적 해를 정확히 찾을 수 있음을 확인하였으며, 전수 검색 결과와 일치한다.