[논문 리뷰] Predict and Constrain: Modeling Cardinality in Deep Structured Prediction

Nataly Brukhim, Amir Globerson|arXiv (Cornell University)|2018. 02. 13.

Stochastic Gradient Optimization Techniques참고 문헌 20인용 수 6

한 줄 요약

이 논문은 구조적 예측을 위한 새로운 엔드 투 엔드 미분 가능한 딥 러닝 프레임워크를 제안하며, 활성 레이블 수를 제한하는 '예측 및 제약' 접근 방식을 통해 기수 제약 조건을 모델링한다. 먼저 신경망을 사용해 입력에 대한 원하는 레이블 기수를 예측한 후, 이를 미분 가능한 투영 기반 경사 하강법을 통해 제약 조건을 강제로 적용함으로써, 고차수 레이블 상관관계를 효과적으로 포착함으로써 다중 레이블 분류 벤치마크에서 최신 기준 성능을 달성한다.

ABSTRACT

Many machine learning problems require the prediction of multi-dimensional labels. Such structured prediction models can benefit from modeling dependencies between labels. Recently, several deep learning approaches to structured prediction have been proposed. Here we focus on capturing cardinality constraints in such models. Namely, constraining the number of non-zero labels that the model outputs. Such constraints have proven very useful in previous structured prediction approaches, but it is a challenge to introduce them into a deep learning framework. Here we show how to do this via a novel deep architecture. Our approach outperforms strong baselines, achieving state-of-the-art results on multi-label classification benchmarks.

연구 동기 및 목표

• 딥 구조적 예측 모델에 조합적 기수 제약 조건(활성 레이블 수 제한)을 통합하는 데 도전하는 것.
• 백프로파게이션 흐름을 방해하지 않으면서 기수 제약 조건을 강제로 적용할 수 있는, 미분 가능한 엔드 투 엔드 훈련 가능한 아키텍처를 개발하는 것.
• 쌍방향 상호작용을 넘어서 전반적인 레이블 의존성 구조를 모델링함으로써 다중 레이블 분류의 예측 정확도를 향상시키는 것.
• 기수 제약 조건이 딥 네URAL 네트워크 기반의 구조적 예측 프레임워크에 통합될 경우 성능 향상에 상당한 기여를 한다는 것을 입증하는 것.

제안 방법

• 이 방법은 추론을 두 단계로 분리한다: 첫 번째로, 신경망이 주어진 입력에 대해 원하는 기수(활성 레이블 수)를 예측한다.
• 두 번째로, 레이블 공간에서 예측된 기수 제약 조건을 강제로 적용하기 위해, 미분 가능한 투영 기반 경사 하강법을 수행한다. 효율성을 위해 정렬 기반 투영을 사용한다.
• 투영 단계는 덱스트라 알고리즘 또는 동등한 방법을 사용해 선형 제약 조건(예: 레이블 합이 목표값과 같음)을 강제로 이행함으로써 타당성을 확보하면서도, 미분 가능성을 유지한다.
• 단일항, 전반적, 기수 잠재변수를 통합한 점수 함수에 아키텍처를 통합함으로써, 공동 최적화를 가능하게 한다.
• 행 방향(원-핫) 및 열 방향(기수) 제약 조건의 교차에 대한 투영을 확장함으로써, 이중 및 다중 클래스 레이블 설정을 모두 지원한다.
• 전체 파ipeline는 미분 가능하며, F1, recall@K 등의 성능 지표를 직접 백프로파게이션을 통해 최적화할 수 있다.

실험 결과

연구 질문

• RQ1 기수 제약 조건이 엔드 투 엔드 미분 가능한 방식으로 딥 구조적 예측 모델에 효과적으로 통합될 수 있는가?
• RQ2 레이블 할당 이전에 활성 레이블의 기수를 예측하는 것이 구조적 예측 성능을 향상시키는가?
• RQ3 '예측 및 제약' 프레임워크가 기수를 모델링하지 않거나 덜 구조화된 최적화를 사용하는 강력한 베이스라인을 능가할 수 있는가?
• RQ4 기수 잠재변수의 포함 여부가 다른 전반적 잠재변수 형태와 비교해 복잡한 레이블 의존성을 포착하는 데 어떤 영향을 미치는가?
• RQ5 이 방법은 다중 클래스 분류나 의미적 세그멘테이션과 같은 비이진 레이블 설정으로 일반화될 수 있는가?

주요 결과

• 제안된 '예측 및 제약' 방법은 표준 다중 레이블 분류 벤치마크에서 최신 기준 성능을 달성하며, 최근의 딥 구조적 예측 방법들을 능가한다.
• 기수 제약 조건을 통해 고차수 레이블 의존성을 모델링함으로써 F1 및 recall@K 점수가 크게 향상된다.
• 적절하게 통합된 기수 제약 조건 자체만으로도 이러한 제약 조건이 없는 모델에 비해 측정 가능한 성능 향상을 이룬다.
• 덱스트라 알고리즘을 사용해 원-핫 및 기수 제약 조건의 교차에 투영함으로써, 이 방법은 다중 클래스 설정으로도 잘 일반화된다.
• 아블레이션 연구 결과, 기수 예측 후 제약 적용 전략이 공동 최적화나 별도 추론보다 더 효과적이며, 특히 기수가 레이블 구조를 예측하는 데 기여할 경우 더욱 뚜렷하다.
• 이 방법은 전 과정에서 미분 가능성을 유지하며, 어떤 미분 가능한 손실 함수(예: F1, recall@K)를 직접 엔드 투 엔드 훈련으로 최적화할 수 있다.