[논문 리뷰] Feature selection as Monte-Carlo Search in Growing Single Rooted Directed Acyclic Graph by Best Leaf Identification

Aurélien Pélissier, Atsuyoshi Nakamura외 1명|arXiv (Cornell University)|2018. 11. 19.

Artificial Intelligence in Games인용 수 4

한 줄 요약

이 논문은 특징 공간을 점진적으로 성장하는 단일 루트 유도 비순환 그래프(SR-DAG)로 모델링함으로써 특징 선택을 위한 새로운 몬테카를로 트리 탐색(MCTS) 프레임워크를 제안한다. 여기서 최적의 암 식별(BAI)과 최적의 리프 식별(BLI)은 신뢰구간 기반 탐색을 통해 해결된다. 이 방법은 이론적 샘플 복잡도 보장을 동반한 (ε, δ)-정확성 달성을 달성하며, 벤치마크 데이터셋에서 경쟁적인 성능을 보이며, 개선된 백프로파게이션 및 확장 정책 덕분에 FUSE보다 특정 설정에서 뛰어난 성능을 보인다.

ABSTRACT

Monte Carlo tree search (MCTS) has received considerable interest due to its spectacular success in the difficult problem of computer Go and also proved beneficial in a range of other domains. A major issue that has received little attention in the MCTS literature is the fact that, in most games, different actions can lead to the same state, that may lead to a high degree of redundancy in tree representation and unnecessary additional computational cost. We extend MCTS to single rooted directed acyclic graph (SR-DAG), and consider the Best Arm Identification (BAI) and the Best Leaf Identification (BLI) problem of an expanding SR-DAG of arbitrary depth. We propose algorithms that are (epsilon, delta)-correct in the fixed confidence setting, and prove an asymptotic upper bounds of sample complexity for our BAI algorithm. As a major application for our BLI algorithm, a novel approach for Feature Selection is proposed by representing the feature set space as a SR-DAG and repeatedly evaluating feature subsets until a candidate for the best leaf is returned, a proof of concept is shown on benchmark data sets.

연구 동기 및 목표

• 전이로 인한 MCTS의 중복 문제를 해결하기 위해 게임/상태 공간을 트리가 아닌 단일 루트 유도 비순환 그래프(SR-DAG)로 표현함으로써.
• 확장되는 SR-DAG 내에서 특징 선택을 최적의 리프 식별(BLI) 문제로 공식화함으로써.
• growing SR-DAG에서 BAI 및 BLI에 대해 (ε, δ)-정확성과 이론적 기반을 가진 MCTS 알고리즘을 개발함으로써.
• DAG의 구조를 통해 동일한 상태 간 지식 공유를 가능하게 하여 샘플 효율성을 향상시키고 MCTS의 계산 중복을 감소시킴으로써.
• 합성 및 실세계 데이터셋에서 BLI-MCDS 알고리즘을 사용한 특징 선택에 대한 개념 증명을 제공함으로써.

제안 방법

• 노드가 특징 부분집합을, 간선이 특징 추가를 나타내는 점진적으로 성장하는 단일 루트 유도 비순환 그래프(SR-DAG)로 특징 집합 공간을 모델링함으로써.
• 상위 노드 기반 신뢰구간이 아닌 후손 기반 신뢰구간을 사용하는 신뢰구간 기반 선택 정책을 적용함. 이는 상한 신뢰구간(UCB) 원리를 활용하되, 기존의 부모 기반 방식에서 후손 기반 방식으로 전환함.
• 확장되는 SR-DAG에서 최적의 암 식별(BAI)을 위한 LUCB-exMCDS 알고리즘을 도입하여, 이론적 샘플 복잡도 경계를 확보하는 (ε, δ)-정확성 달성을 보장함.
• 잎 노드 평가 횟수를 기반으로 DAG를 확장하는 확장 정책(BAIAdd)을 적용하여 유망한 부분수트리에 우선순위를 부여함.
• 모든 조상 노드에 대해 신뢰구간을 전파하는 '모든 업데이트(update-all)' 백프로파게이션 정책을 사용하여 경로 간 지식 공유를 향상시킴.
• 노드 선택 및 DAG 내 확장을 안내하기 위해 RAVE 점수와 탐색 함수(β₁ 이론적, β₂ 경험적)를 활용함.

실험 결과

연구 질문

• RQ1 전이로 인한 중복 문제를 줄이기 위해 몬테카를로 트리 탐색을 단일 루트 유도 비순환 그래프(SR-DAG)로 효과적으로 확장할 수 있는가?
• RQ2 확장되는 SR-DAG에서 특징 선택을 최적의 리프 식별(BLI) 문제로 모델링할 경우, 트리 기반 MCTS에 비해 샘플 효율성과 정확도가 향상되는가?
• RQ3 제안된 LUCB-exMCDS 알고리즘이 성장하는 SR-DAG에서 (ε, δ)-정확성과 증명 가능한 샘플 복잡도 경계를 확보할 수 있는가?
• RQ4 '모든 업데이트' 백프로파게이션 정책이 BLI 작업에서 수렴성과 성능 면에서 '내림차순 업데이트(update-descent)'에 비해 어떻게 비교되는가?
• RQ5 DAG 기반 MCTS 프레임워크가 벤치마크 데이터셋에서 UCT 기반 FUSE에 비해 특징 선택에서 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• LUCB-exMCDS 알고리즘은 성장하는 SR-DAG에서 최적의 암 식별(BAI)에 대해 (ε, δ)-정확성을 확보하며, 샘플 복잡도에 대한 渐진적 상한 경계를 제공한다.
• BLI-MCDS 알고리즘은 특징 DAG 내에서 최적의 리프를 성공적으로 식별하였으며, FUSE의 '내림차순 업데이트' 방식에 비해 '모든 업데이트' 정책을 통해 개선된 백프로파게이션을 구현하였다.
• 30개의 특징을 가진 선형 인공 데이터셋에서 BLI-MCDS는 최적의 리프를 찾는 데서 FUSE를 능가하였으며, FUSE는 동일한 작업에서 수렴하지 못하였다.
• 500개의 특징을 가진 Madelon 데이터셋에서는 FUSE가 더 높은 잎 노드 탐색 덕분에 BLI-MCDS를 略로 능가하였다. 이는 확장 정책과 분기 계수에 민감함을 시사한다.
• RAVE 점수와 β₂ 탐색 함수의 사용은 각 확장 후 전체 DAG 업데이트에 대한 의존도를 감소시켜 실용적 성능을 향상시켰다.
• 이 프레임워크는 MCTS에서 DAG 표현이 중복을 줄이고 지식 공유를 향상시켜, 특히 전이 빈도가 높은 문제(예: 특징 선택)에서 유용함을 입증하였다.