[논문 리뷰] Fair Representation Learning through Implicit Path Alignment

Changjian Shui, Qi Chen외 3명|arXiv (Cornell University)|2022. 05. 26.

Advanced Causal Inference Techniques인용 수 5

한 줄 요약

이 논문은 이중 최적화 문제로 공식화된 공정한 표현 학습 프레임워크를 제안하며, 외부 루프에서 공정한 표현을 학습하고 내부 루프에서 그룹별 최적 예측기를 최적화함으로써 하위군 간에 불변인 최적 예측기를 보장한다. 이중 최적화 문제에서 내부 최적화 경로를 명시적으로 추적하지 않고도 기울기를 효율적으로 근사하기 위해 암시적 경로 정렬 알고리즘을 도입하여, 충족 조건 규칙 하에서 예측 성능과 공정성 간의 우월한 트레이드오프를 달성한다. 이는 분류 및 회귀 과제에서 검증되었다.

ABSTRACT

We consider a fair representation learning perspective, where optimal predictors, on top of the data representation, are ensured to be invariant with respect to different sub-groups. Specifically, we formulate this intuition as a bi-level optimization, where the representation is learned in the outer-loop, and invariant optimal group predictors are updated in the inner-loop. Moreover, the proposed bi-level objective is demonstrated to fulfill the sufficiency rule, which is desirable in various practical scenarios but was not commonly studied in the fair learning. Besides, to avoid the high computational and memory cost of differentiating in the inner-loop of bi-level objective, we propose an implicit path alignment algorithm, which only relies on the solution of inner optimization and the implicit differentiation rather than the exact optimization path. We further analyze the error gap of the implicit approach and empirically validate the proposed method in both classification and regression settings. Experimental results show the consistently better trade-off in prediction performance and fairness measurement.

연구 동기 및 목표

• 공정한 표현 학습에서 충족 조건 규칙에 대한 초점 부족 문제를 해결하기 위해, 예측 결과가 하위군 간 조건부로 불변임을 보장한다.
• 잠재 공간에서 최적 예측기가 서로 다른 하위군 간에 불변이 되도록 하는 표현을 학습할 수 있는 이중 최적화 프레임워크를 개발한다.
• 이중 최적화에서 내부 루프 최적화 경로를 명시적으로 추적하지 않음으로써 계산 비용을 줄인다.
• 실증적으로 제안된 방법이 공정성 갭을 최소화하면서도 높은 예측 성능을 유지함을 검증한다. 특히 충족 조건 규칙 하에서 성능을 입증한다.
• 암시적 미분 방법의 오차 갭을 분석하고, 명시적 경로 정렬 대비 실용적 우수성을 입증한다.

제안 방법

• 공정한 표현 학습을 이중 최적화 문제로 공식화한다: 외부 루프는 표현 함수 λ를 학습하고, 내부 루프는 각 하위군에 대해 예측기 h를 최적화한다.
• 암시적 경로 정렬을 도입하여, 전체 최적화 경로를 저장하거나 미분할 필요 없이 최종 내부 루프 해답만을 기반으로 λ에 대한 기울기를 계산한다.
• 내부 루프 최적화를 허용 오차 ε를 가진 공액 기울기 강하법으로 해결하고, 표현 갱신의 수렴을 허용 오차 δ로 제어한다.
• 기울기 기반 접근을 통해 서로 다른 하위군 간 예측기 최적화 궤적을 정렬함으로써, 최종 최적 예측기 h*가 그룹 간 불변임을 보장한다.
• λ에 대해 완전히 연결된 신경망을, h에 대해선 선형 또는 얕은 모델을 사용하여 분류 및 회귀 과제에 적용하며, 표준 손실 함수(교차 엔트로피, 평균 제곱 오차)를 사용한다.
• 암시적 및 정확한 기울기 근사 간 오차 갭을 분석하여, 편향과 공정성 제약 간의 트레이드오프가 실무적으로 관리 가능하다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 이중 최적화 프레임워크는 하위군 간에 불변인 최적 예측기를 효과적으로 강제하여 공정한 표현 학습에서 충족 조건 규칙을 충족시킬 수 있는가?
• RQ2 암시적 미분을 어떻게 활용하여 이중 최적화의 계산 비용을 줄일 수 있으며, 공정성 또는 성능을 손상시키지 않을 수 있는가?
• RQ3 제안된 암시적 경로 정렬 방법은 독립성 또는 분리성에 초점을 맞춘 기존 방법들과 비교해 더 나은 예측 정확성과 공정성 간 트레이드오프를 달성하는가?
• RQ4 암시적 방법에서 기울기 근사 오차가 공정성과 모델 성능에 미치는 영향은 무엇인가?
• RQ5 이 방법은 분류 및 회귀 등 다양한 과제에 일반화되어 충족 조건 규칙 하에서 공정성을 유지할 수 있는가?

주요 결과

• 제안된 암시적 경로 정렬 방법은 분류 및 회귀 과제에서 충족 조건 갭을 크게 감소시켜 독립성 또는 분리성 기반 방법들을 능가한다.
• 법률 데이터셋(회귀)에서 암시적 방법은 경쟁적인 평균 제곱 오차(MSE)를 유지하면서도 낮은 충족 조건 갭(ΔSuf_R)을 달성하여 더 나은 공정성-성능 트레이드오프를 보였다.
• NLSY 데이터셋에서 암시적 방법은 충족 조건 갭을 효과적으로 제어하였으며, 베이스라인 대비 약간이지만 일관된 공정성 향상을 보였다.
• 그림 4, 5, 6의 MSE-충족 조건 갭 곡선을 통해, 다양한 성능 수준에서 공정성 갭이 낮게 유지됨을 확인하여, 예측 성능와 공정성 간의 더 나은 트레이드오프를 달성했다.
• 실증 결과는 이중 목적 함수가 적절한 가정 하에서 충족 조건 규칙을 충족함을 확인하였고, 편향된 기울기 근사에도 불구하고 강력한 성능 유지를 유지함을 보였다.
• 특히 의료 분야와 같이 공정성이 필수적인 실생활 응용에서, DP 기반 베이스라인 대비 충족 조건 갭을 더 효과적으로 줄이는 데 성공했다.