[논문 리뷰] Identifying Best Interventions through Online Importance Sampling

Rajat Sen, Karthikeyan Shanmugam외 2명|arXiv (Cornell University)|2017. 01. 10.

Advanced Bandit Algorithms Research참고 문헌 34인용 수 20

한 줄 요약

이 논문은 유의미한 유의미성 분석을 기반으로 한 알고리즘인 SRISv2를 제안하여, 인과 그래프의 소스 노드에서 K개의 소프트 간섭 중 최적의 간섭을 식별하여 최대의 기대 후행 목표 결과를 달성하고자 한다. 간섭 간의 정보 유출과 중요도 샘플링에서의 적응형 클리핑을 활용함으로써, 기존 최고 수준의 방법들보다 개선된 갭-의존 오차 및 회귀 한계를 달성하였으며, 유세포 분석 및 이미지 분류 데이터 세트에서 뛰어난 성능을 보였다.

ABSTRACT

Motivated by applications in computational advertising and systems biology, we consider the problem of identifying the best out of several possible soft interventions at a source node $V$ in an acyclic causal directed graph, to maximize the expected value of a target node $Y$ (located downstream of $V$). Our setting imposes a fixed total budget for sampling under various interventions, along with cost constraints on different types of interventions. We pose this as a best arm identification bandit problem with $K$ arms where each arm is a soft intervention at $V,$ and leverage the information leakage among the arms to provide the first gap dependent error and simple regret bounds for this problem. Our results are a significant improvement over the traditional best arm identification results. We empirically show that our algorithms outperform the state of the art in the Flow Cytometry data-set, and also apply our algorithm for model interpretation of the Inception-v3 deep net that classifies images.

연구 동기 및 목표

• 고정된 샘플링 예산 하에 인과 그래프의 소스 노드에서 최적의 소프트 간섭을 식별하여 후행 목표 노드의 기대값을 최대화하는 것.
• 컴퓨터 광고 및 시스템 생물학과 같은 분야에서 간섭 선택 시 제한된 데이터와 비용 제약 조건에 대응하는 것.
• 간섭 간의 정보 유출을 활용하여 샘플 효율성을 향상시키고 오차 및 회귀를 감소시키는 밴딧 스타일의 알고리즘을 개발하는 것.
• 소프트 간섭이 있는 인과 밴딧 설정에서 최적의 암호 식별을 위한 첫 번째 갭-의존 오차 및 단순 회귀 한계를 제공하는 것.
• 간섭이 비용이 많이 들고 데이터 수집이 제약이 있는 실세계 시스템에서의 실용적 구현을 가능하게 하는 것.

제안 방법

• 노드 V에서 다양한 소프트 간섭에 해당하는 K개의 암호를 가진 최적의 암호 식별 밴딧 문제로 간섭 선택 문제를 수식화한다.
• 적응형 클리핑을 사용한 온라인 중요도 샘플링을 통해 목표 노드 Y에서 각 간섭의 기대 결과를 추정한다.
• 간섭 분포 간의 통계적 발산을 정량화하기 위해 새로운 f-발산 측정법을 도입하여 추정 오차에 대한 더 날카운 한계를 가능하게 한다.
• 추정된 성능 및 발산 지표에 따라 암호 간 샘플을 적응적으로 할당하는 순차적 기각 알고리즘(SRISv2)을 활용한다.
• 각 단계의 클리핑을 고려하여 이전 단계의 샘플을 현재 단계의 추정기로 통합함으로써 추정 정확도를 향상시키고 분산을 감소시킨다.
• 알려진 조건부 분포 P(V|pa(V))와 인과 그래프의 구조를 활용하여 중요도 가중치를 효율적으로 계산한다.

실험 결과

연구 질문

• RQ1 고정된 샘플링 예산 하에 인과 그래프에서 다수의 소프트 간섭 중 최적의 간섭을 효율적으로 식별하는 방법은 무엇인가?
• RQ2 인과 밴딧 설정에서 추정 오차와 회귀를 최소화하기 위해 간섭 간 샘플을 어떻게 할당할 것인가?
• RQ3 간섭 간의 정보 유출을 어떻게 활용하여 간섭 선택에서 샘플 효율성을 향상시킬 수 있는가?
• RQ4 소프트 간섭이 있는 인과 그래프에서 최적의 암호 식별을 위한 문제 의존 오차 및 회귀 한계는 무엇인가?
• RQ5 중요도 샘플링에서의 적응형 클리핑이 정적 또는 비클리핑 대비 더 날카운 이론적 보장을 제공하고 더 우수한 경험적 성능을 달성할 수 있는가?

주요 결과

• 제안된 SRISv2 알고리즘은 소프트 간섭이 있는 인과 밴딧 설정에서 최적의 암호 식별을 위한 첫 번째 갭-의존 오차 및 단순 회귀 한계를 달성하였다.
• Flow Cytometry 데이터 세트에서 SRISv2는 특히 낮은 발산 및 중간 갭 조건에서 최고 수준의 알고리즘들을 능가하였다.
• 경험적 결과는 적응형 클리핑과 정보 유출의 활용 덕분에 다양한 설정에서도 강력한 성능 유지를 보였다.
• 비최적 암호에 대한 예산이 √T로 제한된 경우에도 알고리즘이 강건함을 보였으며, 이는 뛰어난 샘플 효율성을 시사한다.
• 이론적 분석 결과, 알고리즘의 성능은 간섭 분포 간의 f-발산과 보상 갭 Δ에 따라 달라지며, 전통적 밴딧 방법보다 더 날카운 한계를 제공함을 확인하였다.
• 저자들은 추가적인 이론적 보장 향상이 가능할 것으로 추측하며, 특히 한계 표현식에서 한 개의 log(1/Δk) 항을 제거함으로써 가능할 것으로 보고 있다.