[논문 리뷰] Optimizing Graphical Procedures for Multiplicity Control in a Confirmatory Clinical Trial via Deep Learning

Tianyu Zhan, Alan Hartford외 2명|arXiv (Cornell University)|2019. 08. 27.

Statistical Methods in Clinical Trials참고 문헌 43인용 수 8

한 줄 요약

이 논문은 다중 비교 문제를 균형 있게 제어하면서 검정력(power)을 극대화하는 확증적 임상 시험에서 최적의 그래픽 테스팅 절차를 식별하기 위해 피드포워드 신경망(FNNs)을 활용한 딥러닝 기반 최적화 프레임워크를 제안한다. 이 방법은 복잡한 목적 함수를 수치적으로 근사하며, 전통적인 도함수 기반 최적화 방법보다 더 뛰어난 안정성과 효율성을 보이며, 스위치 검색(stochastic search) 대비 최대 5.1% 높은 다중 비교 조정 검정력을 달성하면서 수렴 변동성이 낮게 유지된다.

ABSTRACT

In confirmatory clinical trials, it has been proposed to use a simple iterative graphical approach to construct and perform intersection hypotheses tests with a weighted Bonferroni-type procedure to control type I errors in the strong sense. Given Phase II study results or other prior knowledge, it is usually of main interest to find the optimal graph that maximizes a certain objective function in a future Phase III study. In this article, we evaluate the performance of two existing derivative-free constrained methods, and further propose a deep learning enhanced optimization framework. Our method numerically approximates the objective function via feedforward neural networks (FNNs) and then performs optimization with available gradient information. It can be constrained so that some features of the testing procedure are held fixed while optimizing over other features. Simulation studies show that our FNN-based approach has a better balance between robustness and time efficiency than some existing derivative-free constrained optimization algorithms. Compared to the traditional stochastic search method, our optimizer has moderate multiplicity adjusted power gain when the number of hypotheses is relatively large. We further apply it to a case study to illustrate how to optimize a multiple testing procedure with respect to a specific study objective.

연구 동기 및 목표

• 다중 종속변수를 가진 확증적 임상 시험에서 최적의 그래픽 테스팅 절차를 선택하는 데 도전하는 것.
• 복잡한 다중 비교 제어 문제에 대해 기존의 도함수 기반 최적화 방법(예: ISRES, COBYLA)보다 안정성과 시간 효율성 측면에서 향상된 성능을 달성하는 것.
• 복잡한 다중 검정 절차에서 해석적으로 구할 수 없는 목적 함수를 수치적으로 근사하기 위해 딥러닝을 활용하는 확장 가능하고 수치적으로 안정된 최적화 프레임워크를 개발하는 것.
• 시뮬레이션 및 실제 사례 연구를 통해 이론적 성능이 검증된 바, 이 방법이 검정력 향상, 수렴 신뢰성, 계산 효율성의 균형을 얼마나 잘 유지하는지 입증하는 것.

제안 방법

• 이 방법은 복잡한 상관관계 구조로 인해 해석적으로 구할 수 없는 그래픽 테스팅 절차의 목적 함수를 피드포워드 신경망(FNNs)을 사용해 수치적으로 근사한다.
• 최적화 문제를 제약 조건이 있는 최적화 문제로 설정하여, 특정 특성(예: 유의수준)에 고정된 제약 조건을 두면서 나머지 특성에 대해 최적화를 수행한다.
• FNN에 의해 근사된 목적 함수에 기반한 기울기 기반 최적화를 적용하여 최적의 그래픽 구조를 효율적으로 탐색한다.
• R의 nloptr 패키지를 사용해 프레임워크를 구현하고, 다양한 가설 수와 상관관계 구조를 가진 시뮬레이션 연구를 통해 검증한다.
• 동일한 제약 조건과 설정 하에 성능을 평가하기 위해 스위치 검색(스위치 검색, SSM), ISRES, COBYLA와 비교한다.
• FNN 기반 접근법은 대량의 후보 그래프(B)와 p값(n)을 가진 시뮬레이션 데이터로 학습되며, B와 n을 조정하여 정밀도를 조절한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 접근법이 임상 시험의 다중 비교 제어를 위한 최적의 그래픽 테스팅 절차를 식별하는 데 있어 기존의 도함수 기반 최적화 방법을 능가할 수 있는가?
• RQ2 스위치 검색 대비 FNN 기반 최적화기의 검정력 향상, 수렴 속도, 해의 안정성 측면에서의 성능은 어떠한가?
• RQ3 가설 수가 증가할 경우 FNN 기반 방법이 얼마나 높은 안정성과 효율성을 유지하는가?
• RQ4 실제 임상 시험 설계에서 유의수준과 종속변수 우선순위에 대한 제약 조건을 어떻게 처리하는가?

주요 결과

• 사례 연구에서 FNN 기반 최적화기는 78.0%의 최고 목적 함수 값을 기록하여 ISRES(77.4%), COBYLA(77.2%), SSM(76.6%)를 모두 초월했다.
• 수렴 안정성 측면에서 뛰어난 성능을 보였으며, 100회 반복 시 표준편차가 0.04%로, ISRES(0.23%) 및 COBYLA(0.54%)보다 훨씬 낮았다.
• 스위치 검색 방법(스위치 검색, SSM) 대비 평균 5.1% 높은 다중 비교 조정 검정력을 확보했으며, ISRES 대비 10% 이상의 향상을 기록했다.
• 평균 실행 시간이 17.1분으로 다소 길었음에도 불구하고, ISRES가 시간 제한 내에 수렴하지 못한 것에 비해 더 뛰어난 안정성과 일관성을 보였다.
• COBYLA 대비 약 0.5%의 중간 수준의 검정력 향상을 달성하면서도 모든 시뮬레이션에서 20분 이내의 합리적인 계산 비용을 유지했다.
• B(시뮬레이션된 그래프 수)와 n(p값 수)을 증가시킬수록 정밀도가 향상되어 높은 정확도로 재현 가능한 솔루션을 제공했다.