[논문 리뷰] Using particle swarm optimization to search for locally $D$-optimal designs for mixed factor experiments with binary response

Joshua Lukemire, Abhyuday Mandal외 1명|arXiv (Cornell University)|2016. 02. 05.

Optimal Experimental Design Methods참고 문헌 31인용 수 3

한 줄 요약

이 논문은 이元형 선형 모델에 대해 이산 및 연속 요인을 포함하는 이진 반응 자료에 대해 국소 D-최적 설계를 찾는 데 입자 군집 최적화(PSO)를 사용하는 것을 제안한다. 기존 최적 설계 이론이 도전하는 요인들에 대해 PSO는 사전에 정의된 후보 집합이 필요 없이 높은 효율의 설계를 효과적으로 식별하며, 실제 냄새 제거 및 전기적 방전 연구에서 시행된 설계를 능가한다. 또한 제약 조건이 있는 혹은 비정규적인 설계 공간에서도 효과적으로 대응한다.

ABSTRACT

Identifying optimal designs for generalized linear models with a binary response can be a challenging task, especially when there are both continuous and discrete independent factors in the model. Theoretical results rarely exist for such models, and the handful that do exist come with restrictive assumptions. This paper investigates the use of particle swarm optimization (PSO) to search for locally $D$-optimal designs for generalized linear models with discrete and continuous factors and a binary outcome and demonstrates that PSO can be an effective method. We provide two real applications using PSO to identify designs for experiments with mixed factors: one to redesign an odor removal study and the second to find an optimal design for an electrostatic discharge study. In both cases we show that the $D$-efficiencies of the designs found by PSO are much better than the implemented designs. In addition, we show PSO can efficiently find $D$-optimal designs on a prototype or an irregularly shaped design space, provide insights on the existence of minimally supported optimal designs, and evaluate sensitivity of the $D$-optimal design to mis-specifications in the link function.

연구 동기 및 목표

• 이원형 선형 모델에 대해 이산 및 연속 요인을 포함하고 이진 반응 자료를 가지는 경우, 이론적 및 계산 도구의 부족 문제를 해결하기 위해.
• 해석적 해가 존재하지 않는 복잡한 모델에서 PSO가 국소 D-최적 설계를 효율적으로 생성할 수 있음을 보여주기 위해.
• 정규 및 비정규 설계 공간을 모두 가진 실제 실험 설계에서 PSO의 성능을 평가하기 위해.
• 링크 함수의 잘못된 특정화에 대한 D-최적 설계의 민감도를 평가하고, 최소 지지 설계의 존재 여부를 조사하기 위해.

제안 방법

• 사전에 정의된 설계 포인트 후보 집합이 필요 없이 국소 D-최적 설계를 찾기 위해 PSO를 수정 적용하였다.
• 각 지지점에서의 기울기 조건을 점검함으로써 PSO가 생성한 설계의 최적성을 확인하기 위해 등가 정리(equivalence theorem)를 활용하였다.
• 부등식 제약 조건을 통합하여 비정규적이거나 경계가 있는 설계 공간 내에서 최적화가 가능하도록 PSO를 수정하였다.
• 다양한 실행에서 안정성과 강건성을 확보하기 위해 100회 반복하여 기본 PSO 설정(25개 입자, 200회 반복, 수렴 임계값 0.0001)을 사용하였다.
• 합성 및 실제 실험 문제 양쪽에 PSO를 적용하였으며, 생분해성 플라스틱 냄새 제거 연구 및 전기적 방전 연구를 포함하였다.
• 정보 행렬 M(D)를 사용한 공식 D-효율성 = (det(M(D*)) / det(M(D)))^(1/p)을 활용해 PSO가 생성한 설계의 D-효율성을 시행된 설계와 비교 평가하였다.

실험 결과

연구 질문

• RQ1 이론적 결과가 존재하지 않을 경우, PSO는 이산 및 연속 요인을 포함하고 이진 반응 자료를 가지는 일반화선형모델에 대해 국소 D-최적 설계를 효과적으로 생성할 수 있는가?
• RQ2 실제 실험에서 PSO가 생성한 설계의 D-효율성은 시행된 설계와 비교해 어떻게 되는가?
• RQ3 후보 집합이 필요 없이 PSO는 비정규적 형태이거나 제약 조건이 있는 설계 공간에서도 최적화를 수행할 수 있는가?
• RQ4 링크 함수의 잘못된 특정화(예: 로짓 대 비프로브)에 대해 국소 D-최적 설계의 민감도는 어떠한가?
• RQ5 이진 반응 자료를 가지는 혼합 요인 모델에 대해 최소 지지 국소 D-최적 설계가 존재하는가? 그리고 PSO는 이를 식별할 수 있는가?

주요 결과

• 냄새 제거 및 전기적 방전 연구 양쪽에서 PSO가 생성한 설계는 시행된 설계보다 유의미하게 높은 D-효율성을 확보하였으며, 일부 사례에서는 30% 이상의 향상이 있었다.
• 제약 조건이 있는 설계 공간(예: 공정 한계로 인한 제약)에서의 국소 D-최적 설계는 제약 조건이 없는 설계와 다름을 확인하였으며, 제약 조건을 고려한 최적화의 중요성을 입증하였다.
• PSO는 지지점 (450, 1100)에 가중치 0.334, (460, 1200)에 가중치 0.335, (460, 1000)에 가중치 0.331를 가진 국소 D-최적 설계를 성공적으로 식별하였으며, 등가 정리를 만족하였다.
• 기본 설정을 사용한 100회 반복 실행에서 알고리즘이 안정적으로 수렴하였으며, 조정 민감도가 낮고 강건함을 보였다.
• PSO는 제약 조건이 있는 공간에서 오직 세 개의 서로 다른 설계 포인트만을 포함하는 최소 지지 설계를 식별하였으며, 이러한 설계가 존재하고 계산 가능한 것으로 나타났다.
• 민감도 분석 결과, D-최적 설계는 링크 함수의 경미한 잘못된 특정화에 대해 상대적으로 강건하였지만, 큰 편차가 있을 경우 효율성이 감소함을 확인하였다.