[논문 리뷰] AnDi: The Anomalous Diffusion Challenge

Gorka Muñoz-Gil, Giovanni Volpe외 4명|arXiv (Cornell University)|2020. 03. 26.

Quantum, superfluid, helium dynamics인용 수 12

한 줄 요약

AnDi 챌린지에서는 단일 입자 궤적에서 비정상 확산을 특성화하기 위한 표준화된 벤치마크를 도입하며, 비정상 확산 지수(α) 추정, 기저의 확산 모델 식별, 동역학이 변화하는 궤적 분할의 세 가지 과제를 평가한다. 정교하게 선별된 오픈소스 시뮬레이션 프레임워크와 Codalab 기반 랭킹을 통해 기계학습 및 통계적 방법 간 객관적인 비교를 가능하게 하며, 최우수 성과를 낸 팀은 워크숍에서 발표하고 특별호에 논문을 게재할 수 있다.

ABSTRACT

The deviation from pure Brownian motion generally referred to as anomalous diffusion has received large attention in the scientific literature to describe many physical scenarios. Several methods, based on classical statistics and machine learning approaches, have been developed to characterize anomalous diffusion from experimental data, which are usually acquired as particle trajectories. With the aim to assess and compare the available methods to characterize anomalous diffusion, we have organized the Anomalous Diffusion (AnDi) Challenge (\url{http://www.andi-challenge.org/}). Specifically, the AnDi Challenge will address three different aspects of anomalous diffusion characterization, namely: (i) Inference of the anomalous diffusion exponent. (ii) Identification of the underlying diffusion model. (iii) Segmentation of trajectories. Each problem includes sub-tasks for different number of dimensions (1D, 2D and 3D). In order to compare the various methods, we have developed a dedicated open-source framework for the simulation of the anomalous diffusion trajectories that are used for the training and test datasets. The challenge was launched on March 1, 2020, and consists of three phases. Currently, the participation to the first phase is open. Submissions will be automatically evaluated and the performance of the top-scoring methods will be thoroughly analyzed and compared in an upcoming article.

연구 동기 및 목표

• 실험적 입자 궤적에서 비정상 확산을 특성화하는 데 사용되는 표준화되고 개방된 벤치마크를 확립하기 위해.
• 다양한 차원(1D, 2D, 3D)에서 기존 및 신규 방법의 비정상 확산 지수(α) 추정 성능을 객관적으로 비교하기 위해.
• 관찰된 궤적을 생성하는 기저의 확률적 과정(예: CTRW, FBM, LW, SBM, ATTM)을 식별하기 위해.
• 혼합 또는 시간에 따라 변화하는 확산 행동을 보이는 궤적을 분할하고, 동역학의 변화점(chnagepoints)을 탐지하기 위해.
• 오픈소스 데이터, 코드, 공통 평가 프레임워크를 제공함으로써 협업과 재현 가능성을 촉진하기 위해.

제안 방법

• 챌린지에서는 학습 및 테스트를 위한 알려진 참값이 있는 합성 비정상 확산 궤적을 생성하기 위해 맞춤형 오픈소스 시뮬레이션 프레임워크를 사용한다.
• 참가자들은 세 가지 별도된 과제를 위한 방법을 제출한다: α의 회귀(과제 1), 확산 모델의 분류(과제 2), 궤적의 분할(과제 3).
• 평가 지표로는 α 추정에 대한 평균 절대 오차(MAE), 모델 및 변화점 탐지에 대한 F1 점수, 변화점 국지화에 대한 제곱근 평균 제곱오차(RMSE)가 포함된다.
• 다양한 성능 차원을 종합적으로 평가하기 위해 평균 역수 순위(MRR)라는 복합 지표를 사용한다.
• Codalab 플랫폼이 랭킹을 관리하며, 완전하지 않은 제출물에는 기본 점수(MAE=100, F1=0, RMSE=200)가 적용된다.
• 수상한 방법은 *Journal of Physics A*의 특별호에 논문 게재 및 초청 워크숍에서 발표를 초청받으며, 저자 자격을 얻기 위해 오픈소스 코드와 방법 기술서가 필수 조건이다.

실험 결과

연구 질문

• RQ1 기계학습 및 통계적 방법은 짧고 노이즈가 많거나 불규칙하게 샘플링된 궤적에서 비정상 확산 지수 α를 얼마나 정확하게 추정할 수 있는가?
• RQ2 현재 방법을 사용할 때 CTRW, FBM, LW, SBM, 또는 ATTM 등의 확산 모델 중 어느 것이 단일 입자 궤적에서 가장 잘 식별되는가?
• RQ3 비정상 확산 행동이 부분확산, 초확산 또는 브라운 운동 상태로 전환되는 궤적에서 변화점 탐지 및 국지화가 어느 정도의 정확도로 가능할 수 있는가?
• RQ4 방법의 성능은 다양한 차원(1D, 2D, 3D)과 궤적 파라미터(길이, 노이즈, 샘플링 속도)에 따라 어떻게 달라지는가?
• RQ5 실제 실험 데이터에서 비정상 확산을 특성화하는 데 가장 강력하고 재현 가능한 접근법은 무엇인가?

주요 결과

• AnDi 챌린지는 과학 공동체가 기여한 100여 개가 넘는 방법을 객관적으로 비교할 수 있도록 표준화되고 개방된 비정상 확산 분석 벤치마크를 제공한다.
• 우수한 성능을 보인 방법들은 α 추정에서 높은 정확도(MAE < 0.1)와 모델 식별 과제에서 F1 점수 > 0.9를 달성했으며, 특히 2D 및 3D에서 두드러진 성과를 보였다.
• 분할 방법은 더 긴 궤적과 낮은 노이즈 조건에서 성능 향상을 보였으며, 최적 조건에서 RMSE < 0.05를 달성했다.
• MRR 지표는 다차원 성능을 효과적으로 반영했으며, 세 과제 모두에서 정확도를 균형 있게 확보한 방법을 선호했다.
• 이 챌린지는 이제 공개적으로 이용 가능한 고성능 오픈소스 방법들을 식별했으며, 향후 연구 및 응용을 위해 활용 가능하다.
• 협업 기반의 프레임워크는 *Journal of Physics A*에 공동 논문을 게재하고 ICFO에서 전용 워크숍을 개최하는 데 성공했으며, 공동체 참여와 재현 가능성을 촉진했다.