[논문 리뷰] A new specification of generalized linear models for categorical data

Jean Peyhardi, Catherine Trottier외 1명|arXiv (Cornell University)|2014. 04. 29.

Bayesian Modeling and Causal Inference참고 문헌 5인용 수 9

한 줄 요약

이 논문은 범주형 데이터를 위한 일반선형모형(GLMs)에 대해 통합된 $(r, F, Z)$-삼중항 사양을 제안하며, 링크 함수를 누적분포함수 $F$, 확률의 비율 $r$, 그리고 설계행렬 $Z$로 분해한다. 이는 기존의 순서형 모형과 유사한 새로운 종류의 기준 모형을 위한 범주형 데이터 모델링을 제공하며, 불변성 및 가역성 성질을 수립하고, 벤치마크 및 생물학적 데이터셋을 통해 이 프레임워크가 범주형 반응에서 부분 순서의 복원과 견고한 모형 비교를 가능하게 함을 보여준다. 특히 비대칭 누적분포함수(Gumbel max)를 사용할 경우에 뛰어난 성능을 발휘한다.

ABSTRACT

Regression models for categorical data are specified in heterogeneous ways. We propose to unify the specification of such models. This allows us to define the family of reference models for nominal data. We introduce the notion of reversible models for ordinal data that distinguishes adjacent and cumulative models from sequential ones. The combination of the proposed specification with the definition of reference and reversible models and various invariance properties leads to a new view of regression models for categorical data.

연구 동기 및 목표

• 범주형 데이터의 이원적 회귀 모형(명목형 및 순서형)을 하나의 균일한 사양으로 통합하기 위해.
• 이전에 로지스틱 누적분포함수에 국한되었던 다항로지스틱모형을 일반화하여 임의의 누적분포함수 $F$를 允許함으로써, 명목형 데이터에 대한 새로운 기준 모형 가족을 창출하기 위해.
• 범주 순서의 카테고리 순열에 대한 불변성과 가역성 개념을 통해, 인접형, 누적형, 순차형 모형 간의 차이를 명확히 하기 위해.
• 통합 프레임워크를 기반으로 한 새로운 종류의 지도 학습 분류기 가족을 개발하고, 벤치마크 및 생물학적 데이터셋에서 검증하기 위해.
• 단지 부분 순서 정보만을 제공하는 배수 나무 데이터셋에서, 순차 모형과 비대칭 누적분포함수를 사용하여 카테고리 간의 전체 순서를 복원하기 위해.

제안 방법

• 링크 함수를 확률의 비율 $r$ 과 누적분포함수 $F$로 분해하고, 설계행렬 $Z$와 함께 조합하여 $(r, F, Z)$ 삼중항을 제안한다.
• 기본 범주 비율을 고정함으로써 기준 모형을 정의하고, $F$ 와 $Z$ 를 변화시켜 다항로지스틱모형을 일반화함으로써, 명목형 데이터에 대한 새로운 기준 모형 가족을 정의한다.
• 범주 순서의 카테고리 순열에 대한 불변성 기반으로, 순차 모형(비가역)과 인접형 및 누적형 모형(가역)을 구분하는 '가역성 모형' 개념을 도입한다.
• 카테고리 순열에 대한 모형의 불변성 성질을 분석하여, 특정 모형 가족(예: 누적형, 인접형)만이 이러한 변환에 대해 구조를 유지함을 보여준다.
• BIC 기준을 사용하여 설계행렬 $Z$ 를 선택하고, 로그우도를 기반으로 카테고리 순열에 대한 다양한 모형을 비교함으로써, 비대칭 누적분포함수(예: Gumbel max)를 사용해 대칭성을 깨고 동일한 모형 간의 차이를 식별한다.
• 다섯 개의 부속 줄기 유형을 가진 배수 나무 데이터셋에 프레임워크를 적용하여, 부분 순서 제약 조건($l < u < U$, $l < s < S$)을 만족하는 모든 유효한 순열을 테스트하고, $F$ = Gumbel max를 사용한 순차 모형을 통해 전체 순서를 유추한다.

실험 결과

연구 질문

• RQ1 범주형 데이터의 명목형 및 순서형 일반선형모형을 하나의 사양으로 통합할 수 있는가?
• RQ2 다항로지스틱모형은 로지스틱 누적분포함수를 초월하여, 명목형 데이터에 대한 일관된 기준 모형 가족을 형성할 수 있는가?
• RQ3 순차 모형은 인접형 및 누적형 모형과 카테고리 순열에 대한 가역성 및 불변성 측면에서 어떻게 다를 수 있는가?
• RQ4 범주형 반응에서 부분 순서 정보를 어떻게 활용하여, 모형 가족과 불변성 성질을 통해 전체 순서를 복원할 수 있는가?
• RQ5 제안된 프레임워크는 벤치마크 및 실제 생물학적 데이터셋에서 지도 학습 분류 성능을 향상시킬 수 있는가?

주요 결과

• 제안된 $(r, F, Z)$-삼중항 사양은 기존의 명목형 및 순서형 모형을 성공적으로 통합하여, 다양한 모형 가족 간 직접 비교를 가능하게 한다.
• 기본 비율 $r$ 을 고정하고 $F$ 와 $Z$ 를 변화시킴으로써 정의된 새로운 명목형 데이터 기준 모형 가족은 다항로지스틱모형을 로지스틱 누적분포함수를 초월하여 일반화한다.
• 가역성 개념은 순차 모형(비가역)과 인접형 및 누적형 모형(가역)을 구분함으로써, 각 모형의 해석 및 제약 조건에 대한 명확한 이해를 제공한다.
• 카테고리 순열에 대한 불변성은 특정 모형 가족에만 해당한다: 인접형 및 누적형 모형은 일부 순열에 대해 불변성을 유지하지만, 순차 모형은 그렇지 않다.
• 배수 나무 데이터셋에서, 세 번째 순열 $\sigma^* = \{l, u, U, s, S\}$ 이 여러 기준에서 일관되게 최적으로 선정되었으며, 이는 발달 순서상 둥근 줄기(unspecialized)가 가시성이 있는 짧은 줄기(s)보다 앞서는 것을 시사한다.
• 비대칭 Gumbel max 누적분포함수를 사용함으로써, 이전에는 동일한 것으로 간주되었던 모형들 간의 차이를 식별할 수 있었고, 최고의 로그우도는 $\sigma^*$ 순열에서 달성되어 유추된 순서가 확인되었다.