[논문 리뷰] The underlying connections between identifiability, active subspaces, and parameter space dimension reduction

Andrew F. Brouwer, Marisa C. Eisenberg|arXiv (Cornell University)|2018. 02. 15.

Model Reduction and Neural Networks참고 문헌 2인용 수 7

한 줄 요약

이 논문은 민감도 피셔 정보행렬(FIM)을 통해 식별 가능성, 액티브 서브스페이스, 그리고 매개변수 공간 차원 감소를 유일한 프레임워크로 연결하는 것을 확립한다. 액티브 서브스페이스, 식별 가능성, 그리고 스러프니스(sloppiness)가 모두 동일한 기초 수학적 구조—민감도 FIM—에서 기인한다는 것을 보여줌으로써, 이러한 방법들이 본질적으로 연결되어 있음을 입증하며, 다양한 과학적 응용 분야에서 모델 감소와 매개변수 추정의 정교함과 강건성을 향상시킨다.

ABSTRACT

The interactions between parameters, model structure, and outputs can determine what inferences, predictions, and control strategies are possible for a given system. Parameter space reduction and parameter estimation---and, more generally, understanding the shape of the information contained in models with observational structure---are thus essential for many questions in mathematical modeling and uncertainty quantification. As such, different disciplines have developed methods in parallel for approaching the questions in their field. Many of these approaches, including identifiability, sloppiness, and active subspaces, use related ideas to address questions of parameter dimension reduction, parameter estimation, and robustness of inferences and quantities of interest. In this paper, we show that active subspace methods have intrinsic connections to methods from sensitivity analysis and identifiability, and indeed that it is possible to frame each approach in a unified framework. A particular form of the Fisher information matrix (FIM), which we denote the sensitivity FIM, is fundamental to all three approaches---active subspaces, identifiability, and sloppiness. Through a series of examples and case studies, we illustrate the properties of the sensitivity FIM in several contexts. These initial examples show that the interplay between local and global and linear and non-linear strongly impact the insights each approach can generate. These observations underline that one's approach to parameter dimension reduction should be driven by the scientific question and also open the door to using tools from the other approaches to generate useful insights.

연구 동기 및 목표

• 수학적 모델링에서 식별 가능성, 액티브 서브스페이스, 그리고 매개변수 공간 차원 감소 간의 이론적 및 실용적 연결 고리를 명확히 하기.
• 이러한 서로 다른 보 seeming한 방법들이 민감도 피셔 정보행렬(FIM)이라는 공통된 기초에 뿌리를 두고 있음을 입증하기.
• 민감도 FIM이 다양한 모델링 맥락에서 매개변수 공간 내 민감한(활성) 및 민감하지 않은(비활성) 방향을 일관되게 해석할 수 있도록 하는 방식을 보여주기.
• 비용 함수와 벡터값 양의 관심사(QOIs)가 복잡한 출력을 요약하고 차원 감소에 대한 통찰을 향상시키는 데 어떻게 사용될 수 있는지 설명하기.
• 다른 분야 간 융합을 촉진하기 위해, 한 방법의 도구(예: 액티브 서브스페이스)가 다른 방법(예: 식별 가능성 및 스러프니스)의 접근법을 정보 및 향상시키는 데 어떻게 기여할 수 있는지 보여주기.

제안 방법

• 국소 민감도 분석을 사용하여 액티브 서브스페이스, 식별 가능성, 스러프니스를 뒷받침하는 중심 대상으로 민감도 FIM을 체계화하기.
• 매개변수 공간 전반에 걸친 평균 민감도 FIM(C)을 액티브 서브스페이스의 核심 양으로 정의하며, 이는 관심사의 양(QOI)의 헤시안에서 유도된다.
• 민감도 FIM의 고유분해를 적용하여 매개변수 공간 내 활성(고유값이 큰) 및 비활성(고유값이 작은) 방향을 식별하기.
• 충분한 요약 플롯을 사용하여 첫 번째 활성 고유벡터와 스칼라 QOI(예: 최소 제곱 비용 함수) 간의 관계를 시각화하고, 차원 감소의 타당성을 검증하기.
• 다양한 QOI(스칼라 q 대비 벡터 y)와 매개변수 스케일링 방식(정규화 대비 중심화/스케일링) 간의 결과를 비교하여 발견의 강건성과 일관성 평가하기.
• 식별 가능한 조합과 상보적 매개변수 행동을 보이는 질병 전파 모델에 대한 사례 연구를 수행하여, 이 프레임워크가 실제 응용에서의 유용성을 입증하기.

실험 결과

연구 질문

• RQ1 식별 가능성, 액티브 서브스페이스, 스러프니스는 어떤 공통된 기초 수학적 구조를 통해 수학적으로 연결되어 있는가?
• RQ2 민감도 FIM은 다양한 모델링 분야에서 매개변수 공간 차원 감소를 위한 통합 프레임워크로 얼마나 효과적으로 기능할 수 있는가?
• RQ3 국소적 대비 전역적, 선형 대비 비선형, 스칼라 대비 벡터값 QOI는 활성 및 비활성 매개변수 방향의 해석에 어떤 영향을 미치는가?
• RQ4 비용 함수는 시간적 시리즈나 벡터값 출력을 갖는 모델에서 차원 감소를 가능하게 하기 위해 효과적으로 요약 QOI로 사용될 수 있는가?
• RQ5 매개변수 스케일링과 변환은 활성 서브스페이스 결과와 충분한 요약 플롯의 안정성과 해석 가능성에 어떤 영향을 미치는가?

주요 결과

• 민감도 FIM은 액티브 서브스페이스, 식별 가능성, 스러프니스를 연결하는 통합적인 수학적 프레임워크를 제공하며, 이들이 모두 매개변수 민감도 구조에 의존하고 있음을 드러낸다.
• 질병 전파 모델에서 민감도 FIM의 첫 두 고유벡터는 식별 가능한 조합인 $k$와 $\beta_W + \beta_I$에 해당했고, 마지막 두 고유벡터는 $\beta_W$와 $\beta_I$, $\xi$를 포함하는 식별 불가능하고 상보적인 방향을 반영했다.
• 첫 두 고유값 이후의 고유값 갭이 빠른 $\xi$ 제어 조건에서 더 커서, 더 강한 차원 감소 잠재력과 활성 및 비활성 방향 간의 명확한 분리가 가능함을 시사했다.
• 충분한 요약 플롯은 빠른 $\xi$ 조건에서 첫 번째 활성 고유벡터와 비용 함수 $q$ 사이에 강한 일차원 관계를 보여주었으며, 이는 벡터 QOI에 대한 스칼라 요약으로 비용 함수를 효과적으로 사용할 수 있음을 확인했다.
• 매개변수를 $(-1,1)$ 범위로 스케일링 및 중심화함으로써 충분한 요약 플롯의 명확성이 향상되었으며, 특히 빠른 $\xi$ 조건에서 두드러졌다. 이는 활성 서브스페이스 분석에서 매개변수 정규화의 중요성을 강조한다.
• 민감도 FIM의 고유벡터와 고유값은 다양한 QOI(스칼라 $q$와 벡터 $y$) 간에 일관되게 유지되었으며, 이는 출력 표현 방식의 변화에 대해 메서드의 강건성을 입증했다.