[논문 리뷰] Efficient Learning by Directed Acyclic Graph For Resource Constrained Prediction

Joseph Wang, Kirill Trapeznikov외 1명|arXiv (Cornell University)|2015. 10. 26.

Machine Learning and Algorithms참고 문헌 26인용 수 28

한 줄 요약

이 논문은 분류 정확도를 유지하면서 테스트 시점의 수집 비용을 최소화하는 비용 효율적이고 데이터에 의존하는 결정 규칙을 학습하는 방향성 비순환 그래프(DAG) 기반의 적응형 센서 수집 시스템을 제안한다. 동적 프로그래밍을 통해 전역 경험 리스크 최소화 문제를 비용 감안 학습(-cost-sensitive learning, CSL) 하位 문제의 시퀀스로 환원함으로써, 이론적으로 베이즈 리스크에 수렴하며, 소규모 및 대규모 센서 집합에서 최신 기법들을 능가한다.

ABSTRACT

We study the problem of reducing test-time acquisition costs in classification systems. Our goal is to learn decision rules that adaptively select sensors for each example as necessary to make a confident prediction. We model our system as a directed acyclic graph (DAG) where internal nodes correspond to sensor subsets and decision functions at each node choose whether to acquire a new sensor or classify using the available measurements. This problem can be naturally posed as an empirical risk minimization over training data. Rather than jointly optimizing such a highly coupled and non-convex problem over all decision nodes, we propose an efficient algorithm motivated by dynamic programming. We learn node policies in the DAG by reducing the global objective to a series of cost sensitive learning problems. Our approach is computationally efficient and has proven guarantees of convergence to the optimal system for a fixed architecture. In addition, we present an extension to map other budgeted learning problems with large number of sensors to our DAG architecture and demonstrate empirical performance exceeding state-of-the-art algorithms for data composed of both few and many sensors.

연구 동기 및 목표

• 예산 제약 조건 하에서 분류 시스템에서 테스트 시점 센서 수집 비용을 줄이기 위해.
• 예제 기반의 정보성과 비용에 따라 센서를 선택하는 적응형 결정 규칙을 학습하기 위해.
• 내부 노드에 결정 함수를 갖는 방향성 비순환 그래프(DAG)로 센서 수집 과정을 모델링하기 위해.
• 고정된 DAG 아키텍처에 대해 최적 정책에 수렴하는 효율적인 학습 알고리즘을 개발하기 위해.
• 서브모듈라 근사와 부분집합 그룹화를 활용해 대규모 센서 집합으로의 프레임워크 확장을 위해.

제안 방법

• 내부 노드가 센서 부분집합과 결정 함수를 나타내는 DAG로 시스템을 모델링하며, 예측을 새로운 센서를 수집하거나 분류하도록 유도한다.
• 동적 프로그래밍 원리를 활용해 전역 경험 리스크 최소화 문제를 비용 감안 학습(CSL) 하위 문제의 시퀀스로 분해한다.
• 문제를 다룰 수 있는 CSL 작업으로 환원함으로써 노드 정책을 반복적으로 학습시키며, 효율적인 최적화를 가능하게 한다.
• 대규모 센서 집합의 경우, 서브모듈라 근사 알고리즘을 통해 센서 부분집합을 탐욕적으로 선택하고, 이를 원자적 '슈퍼센서'로 간주한다.
• 이 부분집합의 합집합을 기반으로 DAG를 구성함으로써 그래프 크기를 크게 줄이면서도 표현력을 유지한다.
• 결정 함수로 동차 다항식을 사용하고, 싱크 노드에서 로지스틱 회귀를 적용하여 분류를 수행한다.

실험 결과

연구 질문

• RQ1 DAG 기반의 적응형 센서 수집 시스템은 비적응형 및 캐스케이드 기반 방법보다 테스트 시점 비용과 정확도 측면에서 뛰어나게 성능을 내는가?
• RQ2 DAG의 결정 노드에 대한 높은 상관관계를 가지며 비凸인 최적화 문제를 효율적으로 해결할 수 있는가?
• RQ3 비용 감안 학습으로의 동적 프로그래밍 기반 환원이 고정된 DAG 아키텍처에 대해 최적 정책으로 수렴하는가?
• RQ4 모든 부분집합 선택이 비현실적인 대규모 센서 집합에 대해서도 이 프레임워크를 확장할 수 있는가?
• RQ5 고차원 데이터에서 DAG 시스템의 성능은 CSTC 및 ASTC와 비교해 어떻게 되는가?

주요 결과

• DAG 시스템은 레터, 피마, 랜드세이트 데이터셋에서 LP 기반 트리 방법보다 테스트 오차가 낮고, 유사하거나 낮은 센서 수집 비용을 기록한다.
• 소규모 센서 집합에서, 유연한 센서 순서와 고용량 분류기 덕분에 이전의 캐스케이드 기반 방법보다 훨씬 뛰어난 성능을 달성한다.
• 대규모 센서 집합(MiniBooNE, Forest, CIFAR)에서, DAG 시스템은 MiniBooNE와 Forest에서 CSTC 및 ASTC를 능가하며, 더 높은 예산에서 뛰어난 성능을 보인다.
• CIFAR에서 DAG 시스템은 저비용 예산에서는 ASTC와 유사한 성능을 보이며, 고비용 예산에서는 이를 초월하여 다양한 비용 범주에서의 강건성을 입증한다.
• 학습 데이터 크기가 증가함에 따라 이론적으로 베이즈 리스크에 수렴하므로, 고정된 아키텍처에 대해 최적성 보장이 가능하다.
• 서브모듈라 근사를 통해 센서를 그룹화함으로써 DAG 크기를 모든 부분집합을 고려한 64개 노드에서 8개 노드로 줄여 고차원 데이터로의 확장성을 가능하게 하였다.