[논문 리뷰] HiFlow: Hierarchical Feedback-Driven Optimization for Constrained Long-Form Text Generation

Yifan Zhu, Guanting Chen외 2명|arXiv (Cornell University)|2026. 03. 05.

Topic Modeling인용 수 0

한 줄 요약

HiFlow는 제약 조건 인식 피드백으로 제약된 장문 텍스트 생성을 향상시키기 위해 계획과 생성의 공동 최적화를 수행하는 계층적 프레임워크를 도입합니다.

ABSTRACT

Large language models perform well in short text generation but still struggle with long text generation, particularly under complex constraints. Such tasks involve multiple tightly coupled objectives, including global structural consistency, local semantic coherence, and constraint feasibility, forming a challenging constrained optimization problem. Existing approaches mainly rely on static planning or offline supervision, limiting effective coordination between global and local objectives during generation. To address these challenges, we propose HiFlow, a hierarchical feedback-driven optimization framework for constrained long text generation. HiFlow formulates generation as a two-level optimization process, consisting of a planning layer for global structure and constraint modeling, and a generation layer for conditioned text generation. By incorporating constraint-aware plan screening and closed-loop feedback at both levels, HiFlow enables joint optimization of planning quality and generation behavior, progressively guiding the model toward high-quality, constraint-satisfying outputs. Experiments on multiple backbones confirm HiFlow's effectiveness over baseline methods.

연구 동기 및 목표

• 다중 결합 제약(전역 구조, 지역 일관성, 제약 타당성) 하에서 장문 텍스트를 생성하는 데 어려움이 있음.
• 피드백 신호를 통해 계획과 생성을 함께 최적화하는 워크플로를 제안하여 제약 만족도와 높은 품질로 출력을 적응적으로 유도.
• 계획 수준의 스크리닝과 롤아웃 기반 보상으로 제약 인식 계층적 계획 및 생성으로 생성을 분해.
• 다양한 백본(Qwen2.5 시리즈, LLaMA3.1-8B)에서의 강건성과 확장성 및 CogWriter와 LongWriter 같은 baselines와의 비교를 보여줌.

제안 방법

• 제약 인식 계층적 계획과 조건화된 텍스트 생성을 위한 두 수준 최적화로, 전역 구조와 제약 모델링을 위한 계획 계층과 조건화된 생성 계층을 사용합니다.
• 잘못된 하위 계획을 수리하기 위해 후보 계획과 지역적 정제를 포함한 제약 인식 계층적 계획을 사용합니다.
• 생성으로 진행하기 전에 계획의 실행 가능성을 선별하기 위해 이진 적합성 필터링을 적용합니다.
• 계획과 생성 모두에 대해 롤아웃 기반 보상 평가를 사용하여 장기적인 품질과 제약 만족도를 추정합니다.
• 계획 및 생성 단계 모두에서 보상 가이드 Direct Preference Optimization (DPO) 프레임워크를 사용해 계획과 생성 모두를 공동 최적화합니다.
• 다양한 단계(계획, 생성, 정제)를 통해 트리거 신호와 피드백을 활용하여 출력이 과업 목표에 맞도록 정렬합니다.]

실험 결과

연구 질문

• RQ1 RQ1: HiFlow가 제약된 장문 생성에서 기본 방식 대비 모델 성능을 얼마나 개선합니까?
• RQ2 RQ2: Ablation 연구로 나타난 HiFlow의 계획 및 생성 구성요소은 얼마나 효과적입니까?
• RQ3 RQ3: 제약 인식 워크플로 설계가 제약 만족도에 어떤 영향을 미칩니까?
• RQ4 RQ4: 적응형 워크플로 최적화가 변화하는 제약 하에서 강건성을 얼마나 개선합니까?
• RQ5 RQ5: 피드백 결합된 협력이 전체 생성 품질을 얼마나 향상시키나요?

주요 결과

방법	텍스트 품질(서술)	텍스트 품질(메모리)	텍스트 품질(시간적)	텍스트 품질(감정)	텍스트 품질(평균)	제약 정확도(한 번)	제약 정확도(범위)	제약 정확도(주기)	제약 정확도(평균)
Qwen2.5-0.5B-Instruct	66.44 ± 0.25	66.13 ± 0.62	64.88 ± 1.90	76.13 ± 0.01	68.39 ± 1.01	23.46 ± 1.59	16.60 ± 1.52	15.69 ± 0.54	18.58 ± 0.75
+ CogWriter	74.75 ± 0.54	75.13 ± 0.82	72.19 ± 0.47	90.38 ± 0.91	78.11 ± 0.63	26.61 ± 0.98	19.50 ± 0.30	17.70 ± 0.24	20.78 ± 0.21
+ LongWriter	74.63 ± 0.76	74.88 ± 0.39	71.69 ± 0.68	90.00 ± 0.55	77.80 ± 0.84	21.01 ± 0.30	19.29 ± 0.11	15.83 ± 0.20	18.71 ± 0.13
+ HiFlow (ours)	75.13 ± 0.42	74.88 ± 0.61	73.19 ± 0.35	90.88 ± 0.48	78.52 ± 0.27	28.01 ± 0.55	18.53 ± 0.10	15.80 ± 0.28	22.11 ± 0.31

• HiFlow는 여러 백본에서 텍스트 품질 및 제약 준수 정확도 모두에서 일관되게 기본형을 능가합니다.
• 계획과 생성을 공동으로 학습하면 텍스트 품질을 해치지 않으면서도 제약 만족도가 가장 높아집니다.
• 제약 인식 워크플로 설계는 특히 복합 제약(예: Range, Periodic)에서 명확한 이점을 제공합니다.
• 적응형 워크플로 최적화는 정적 파이프라인보다 중간 수준의 오버헤드로 더 높은 정확도를 달성합니다.
• 피드백 결합형 협력은 단계별 안정적 개선과 제약 만족도와의 보상 다이나믹의 상관성을 이끕니다.